Limites de taxa

Saiba sobre os limites de taxa da Web Scraper API, as velocidades de envio de jobs e como as taxas de sucesso do domínio afetam seus limites.

Introdução

A conta de usuário do Web Scraper API possui um limite específico de envio de tarefas, ajustado ao seu plano. Esses limites são projetados para atender às suas necessidades de assinatura mensal de forma eficaz.

Limites de taxa

A velocidade com que você pode enviar tarefas depende do tamanho do seu plano. Consulte a tabela abaixo para uma divisão dos limites de taxa para planos regulares e empresariais:

Plano	Resultados (máximo)	Total de jobs/s	Jobs renderizados/s
Teste gratuito	2,000	10	3
Micro	98,000	50	13
Starter	220,000	50	13
Advanced	622,500	50	13
Venture	1,350,000	50	13
Business	3,330,000	100	25
Corporate	8,000,000	100	25
Custom +	Custom	Custom	Custom

Obtendo informações de limite de taxa

Sempre que você enviar uma tarefa ao nosso sistema, nós enviaremos as informações de limite de taxa nos cabeçalhos da resposta. Os nomes dos cabeçalhos terão a seguinte estrutura x-ratelimit-limit_name-limit e x-ratelimit-limit_name-remaining. O primeiro indica o valor total do limite, enquanto o segundo indica o valor restante. Pode haver mais de um limite aplicável a você.

Limitando o acesso ao domínio devido a uma taxa de sucesso baixa

O Web Scraper API monitora continuamente sua taxa de sucesso em cada domínio que você rastreia. Se sua taxa de sucesso em qualquer domínio ficar abaixo de 40% (medida na janela dos últimos 5 minutos), sua taxa de solicitações para esse domínio será limitada a 1 req/s até que a taxa de sucesso se recupere.

Você pode experimentar uma taxa de sucesso baixa por duas razões:

• Incapacidade do Web Scraper API de contornar as medidas anti-bot do site;

• Seus próprios cookies, cabeçalhos ou outras variáveis interferindo na lógica de desbloqueio do Web Scraper API.

Quando suas solicitações a um domínio são limitadas devido a uma taxa de sucesso baixa, você receberá uma resposta da API com o 429 código de status e a seguinte mensagem:

{
    "message": "O acesso a {domain} foi limitado a 1 req/s devido a uma taxa de sucesso baixa. Se você estiver usando cabeçalhos ou cookies personalizados, verifique se estão corretos e tente novamente. O limite normal de solicitações será restaurado automaticamente quando a taxa de sucesso melhorar."
}

Ao receber essa resposta, verifique se os parâmetros da sua solicitação não são a causa desse problema.