Limites de taxa

Saiba mais sobre os limites de taxa da Web Scraper API, as velocidades de envio de jobs e como as taxas de sucesso por domínio afetam seus limites.

Introdução

A conta de usuário do Web Scraper API vem com um limite específico de taxa de envio de jobs, ajustado ao seu plano. Esses limites são projetados para atender de forma eficaz às necessidades da sua assinatura mensal.

Limites de taxa

A taxa na qual você pode enviar jobs depende do tamanho do seu plano. Consulte a tabela abaixo para uma visão geral dos limites de taxa para planos regulares e empresariais:

Plano	Resultados (máximo)	Jobs totais/s	Jobs renderizados/s
Teste gratuito	2,000	10	3
Micro	98,000	50	13
Starter	220,000	50	13
Avançado	622,500	50	13
Venture	1,350,000	50	13
Business	3,330,000	100	25
Corporativo	8,000,000	100	25
Personalizado +	Personalizado	Personalizado	Personalizado

Obtendo informações do limite de taxa

Sempre que você enviar um job para o nosso sistema, enviaremos as informações do limite de taxa nos headers da resposta. Os nomes dos headers serão estruturados como x-ratelimit-limit_name-limit e x-ratelimit-limit_name-remaining. O primeiro indica o valor total do limite, enquanto o segundo indica o valor restante. Pode haver mais de um limite aplicável a você.

Limitando o acesso ao domínio devido a uma baixa taxa de sucesso

O Web Scraper API monitora continuamente sua taxa de sucesso em cada domínio que você raspa. Se sua taxa de sucesso em qualquer domínio ficar abaixo de 40% (medida ao longo da última janela de 5 minutos), sua taxa de requisições para esse domínio específico será limitada a 1 req/s até que a taxa de sucesso se recupere.

Você pode ter uma baixa taxa de sucesso por dois motivos:

• A incapacidade do Web Scraper API de contornar as medidas anti-bot do site;

• Seus próprios cookies, headers ou outras variáveis interferindo na lógica de desbloqueio do Web Scraper API.

Quando suas requisições para um domínio forem limitadas devido a uma baixa taxa de sucesso, você receberá uma resposta da API com o 429 código de status e a seguinte mensagem:

{
    "message": "O acesso a {domain} foi limitado a 1 req/s devido a uma baixa taxa de sucesso. Se você estiver usando headers personalizados ou cookies, verifique se estão corretos e tente novamente. O limite normal de requisições será restaurado automaticamente quando a taxa de sucesso melhorar."
}

Ao receber esta resposta, certifique-se de que os parâmetros da sua requisição não sejam a causa desse problema.