速率限制

了解网页爬虫 API 的速率限制、作业提交速度，以及域名成功率如何影响您的限制。

简介

Web Scraper API 用户帐户具有特定的作业提交速率限制，根据您的计划量身定制。这些限制旨在有效满足您的每月订阅需求。

速率限制

您可以提交作业的速率取决于您的计划规模。有关常规和企业计划的速率限制明细，请参阅下表：

计划	结果（最大）	总作业数/秒	渲染作业/秒
免费试用	2,000	10	3
Micro	98,000	50	13
Starter	220,000	50	13
高级	622,500	50	13
Venture	1,350,000	50	13
Business	3,330,000	100	25
Corporate	8,000,000	100	25
Custom +	自定义	自定义	自定义

获取速率限制信息

每当您向我们的系统提交任务时，我们会在响应头中向您发送速率限制信息。头名称将以如下结构命名 x-ratelimit-limit_name-limit 和 x-ratelimit-limit_name-remaining。前者表示总限制值，后者表示剩余值。可能有不止一个适用于您的限制。

由于成功率低而限制域访问

Web Scraper API 持续监控您在每个抓取域上的成功率。如果您在任何域上的成功率降至 40% 以下（在过去 5 分钟窗口内衡量），则对该特定域的请求速率将被限制为 1 次/秒，直到成功率恢复。

导致您可能出现低成功率的原因有两种：

• Web Scraper API 无法绕过该网站的反机器人措施；

• 您自己的 cookie、headers 或其他变量干扰了 Web Scraper API 的解锁逻辑。

当您对某个域的请求因成功率低而被限制时，您将收到带有以下 429 状态码和消息的 API 响应：

{
    "message": "由于成功率低，已将对 {domain} 的访问限制为 1 次/秒。如果您使用了自定义 headers 或 cookie，请确保它们正确，然后重试。当成功率改善时，正常的请求限制会自动恢复。"
}

收到此响应后，请确保您的请求参数不是导致该问题的原因。