速率限制

了解 网页爬虫 API 的速率限制、任务提交速度以及域名成功率如何影响您的限制。

简介

Web Scraper API 用户账户具有针对您计划的特定任务提交速率限制。这些限制旨在有效满足您的月度订阅需求。

速率限制

您可以提交任务的速率取决于您的计划规模。有关常规和企业计划速率限制的详细说明，请参阅下表：

套餐	结果（最大）	总作业数/秒	渲染作业/秒
免费试用	2,000	10	3
微型	98,000	50	13
入门	220,000	50	13
高级	622,500	50	13
风险投资	1,350,000	50	13
商务	3,330,000	100	25
企业	8,000,000	100	25
自定义 +	自定义	自定义	自定义

获取速率限制信息

每当您向我们的系统提交任务时，我们会在响应头中向您发送速率限制信息。头名称将构造为 x-ratelimit-limit_name-limit 和 x-ratelimit-limit_name-remaining。前者表示总限制值，后者表示剩余值。可能会有多个适用于您的限制。

因成功率低而限制域访问

Web Scraper API 会持续监控您在每个抓取域上的成功率。如果您在任何域上的成功率降至 40% 以下（在最近 5 分钟窗口内衡量），对该特定域的请求速率将被限制为 1 次/秒，直到成功率恢复。

您可能会因为以下两种原因而出现成功率低：

• Web Scraper API 无法绕过该网站的反爬虫措施；

• 您自己的 Cookie、请求头或其他变量干扰了 Web Scraper API 的解封逻辑。

当您对某个域的请求因成功率低而被限制时，您将收到带有 429 状态码和以下消息的 API 响应：

{
    "message": "由于成功率低，对 {domain} 的访问已被限制为 1 次/秒。如果您使用了自定义请求头或 Cookie，请确保它们正确，然后重试。成功率改善后，正常请求限制将自动恢复。"
}

收到此响应后，请确保您的请求参数不是导致此问题的原因。