Limites de taxa

Saiba mais sobre os limites de taxa da Web Scraper API, velocidades de envio de jobs e como as taxas de sucesso do domínio afetam seus limites.

Introdução

A conta de usuário do Web Scraper API vem com um limite específico de envio de jobs, ajustado ao seu plano. Esses limites são projetados para atender de forma eficaz às necessidades da sua assinatura mensal.

Limites de taxa

A taxa na qual você pode enviar jobs depende do tamanho do seu plano. Consulte a tabela abaixo para um detalhamento dos limites de taxa para planos regulares e empresariais:

Plano	Resultados (máximo)	Total de jobs/s	Jobs renderizados/s
Teste gratuito	2,000	10	3
Micro	98,000	50	13
Iniciante	220,000	50	13
Avançado	622,500	50	13
Empreendimento	1,350,000	50	13
Negócios	3,330,000	100	25
Corporativo	8,000,000	100	25
Personalizado +	Personalizado	Personalizado	Personalizado

Obtendo informações sobre o limite de taxa

Sempre que você enviar um job ao nosso sistema, enviaremos as informações do limite de taxa nos cabeçalhos da resposta. Os nomes dos cabeçalhos serão estruturados assim x-ratelimit-limit_name-limit e x-ratelimit-limit_name-remaining. O primeiro indica o valor total do limite, enquanto o segundo indica o valor restante. Pode haver mais de um limite aplicável a você.

Limitando o acesso ao domínio devido a uma baixa taxa de sucesso

Web Scraper API monitora continuamente sua taxa de sucesso em cada domínio que você faz scraping. Se sua taxa de sucesso em qualquer domínio ficar abaixo de 40% (medida na janela dos últimos 5 minutos), sua taxa de requisições para esse domínio específico será limitada a 1 req/s até que a taxa de sucesso se recupere.

Você pode ter uma baixa taxa de sucesso por dois motivos:

• A incapacidade do Web Scraper API de lidar com os sistemas de controle de tráfego de bots do site;
• Seus próprios cookies, cabeçalhos ou outras variáveis interferindo na lógica de acesso à web do Web Scraper API.

Quando suas requisições a um domínio forem limitadas devido a uma baixa taxa de sucesso, você receberá uma resposta da API com o 429 código de status e a seguinte mensagem:

{
    "message": "O acesso a {domain} foi limitado a 1 req/s devido a uma baixa taxa de sucesso. Se você estiver usando cabeçalhos personalizados ou cookies, verifique se estão corretos e tente novamente. O limite normal de requisições será restaurado automaticamente quando a taxa de sucesso melhorar."
}

Ao receber esta resposta, verifique se os parâmetros da sua requisição não são a causa desse problema.