Limites de taxa

Saiba sobre os limites de taxa da Web Scraper API, velocidades de submissão de jobs e como as taxas de sucesso por domínio afetam seus limites.

Introdução

A conta do usuário do Web Scraper API vem com um limite específico de envio de tarefas, ajustado ao seu plano. Esses limites foram projetados para atender efetivamente às suas necessidades de assinatura mensal.

Limites de taxa

A velocidade com que você pode enviar tarefas depende do tamanho do seu plano. Consulte a tabela abaixo para uma divisão dos limites de taxa para planos regulares e empresariais:

Plano	Resultados (máximo)	Total de jobs/s	Jobs renderizados/s
Teste gratuito	2,000	10	3
Micro	98,000	50	13
Starter	220,000	50	13
Advanced	622,500	50	13
Venture	1,350,000	50	13
Business	3,330,000	100	25
Corporate	8,000,000	100	25
Personalizado +	Personalizado	Personalizado	Personalizado

Obtendo informações do limite de taxa

Sempre que você envia um trabalho ao nosso sistema, enviaremos as informações de limite de taxa nos cabeçalhos da resposta. Os nomes dos cabeçalhos serão estruturados como x-ratelimit-limit_name-limit e x-ratelimit-limit_name-remaining. O primeiro indica o valor total do limite, enquanto o segundo indica o valor restante. Pode haver mais de um limite aplicável a você.

Limitando o acesso ao domínio devido a uma baixa taxa de sucesso

O Web Scraper API monitora continuamente sua taxa de sucesso em cada domínio que você raspou. Se sua taxa de sucesso em qualquer domínio ficar abaixo de 40% (medida na janela dos últimos 5 minutos), sua taxa de requisições para esse domínio será limitada a 1 req/s até que a taxa de sucesso se recupere.

Você pode experimentar uma baixa taxa de sucesso por duas razões:

• Incapacidade do Web Scraper API de contornar as medidas anti-bot do site;

• Seus próprios cookies, cabeçalhos ou outras variáveis interferindo na lógica de desbloqueio do Web Scraper API.

Quando suas requisições a um domínio são limitadas devido a uma baixa taxa de sucesso, você receberá uma resposta da API com o 429 código de status e a seguinte mensagem:

{
    "message": "O acesso a {domain} foi limitado para 1 req/s devido a uma baixa taxa de sucesso. Se você estiver usando cabeçalhos ou cookies personalizados, verifique se estão corretos e tente novamente. O limite normal de requisições será restaurado automaticamente quando a taxa de sucesso melhorar."
}

Ao receber essa resposta, por favor, verifique se seus parâmetros de requisição não são a causa desse problema.