速率限制

了解 网页爬虫 API 的速率限制、任务提交速率，以及域名成功率如何影响你的限制。

简介

Web Scraper API 用户账户附带特定的作业提交速率限制，依据您的方案量身定制。该等限制旨在有效满足您的月度订阅需求。

速率限制

您可以提交作业的速率取决于您的方案大小。请参阅下表，了解常规和企业方案的速率限制细分：

方案	结果（最大）	每秒总作业数	每秒渲染作业数
免费试用	2,000	10	3
微型	98,000	50	13
入门	220,000	50	13
高级	622,500	50	13
风险投资	1,350,000	50	13
商务	3,330,000	100	25
企业	8,000,000	100	25
定制 +	定制	定制	定制

获取速率限制信息

每当您向我们的系统提交作业时，我们会在响应头中向您发送速率限制信息。头名将按如下结构： x-ratelimit-limit_name-limit 和 x-ratelimit-limit_name-remaining。前者表示总限制值，后者表示剩余值。可能有多个适用于您的限制。

因成功率低而限制对域的访问

Web Scraper API 会持续监控您在每个抓取域的成功率。如果您在任何域的成功率低于 40%（在最近 5 分钟窗口内衡量），对该域的请求速率将被限制为 1 次/秒，直到成功率恢复。

成功率低可能由以下两个原因导致：

• Web Scraper API 无法绕过该网站的反机器人措施；

• 您自己的 Cookie、头或其他变量干扰了 Web Scraper API 的解锁逻辑。

当您对某域的请求因成功率低被限制时，您将收到带有 429 状态码和以下消息的 API 响应：

{
    "message": "由于成功率低，已将对 {domain} 的访问限制为 1 次/秒。如果您使用了自定义头或 Cookie，请确保它们正确，然后重试。当成功率改善时，正常的请求限制会自动恢复。"
}

收到此响应后，请确保您的请求参数不是导致此问题的原因。