速率限制

了解网页爬虫API速率限制、任务提交速度，以及域名成功率如何影响您的限制。

简介

网页爬虫API 用户账户附带特定的作业提交速率限制，具体取决于您的套餐。这些限制旨在有效满足您的月度订阅需求。

速率限制

您可以提交作业的速率取决于您的套餐大小。请参阅下表，了解普通版和企业版套餐的速率限制明细：

套餐	结果（最大值）	总任务/秒	渲染任务/秒
免费试用	2,000	10	3
微型	98,000	50	13
入门	220,000	50	13
高级	622,500	50	13
创业	1,350,000	50	13
商务	3,330,000	100	25
企业	8,000,000	100	25
自定义 +	自定义	自定义	自定义

获取速率限制信息

每当您向我们的系统提交任务时，我们都会在响应头中向您发送速率限制信息。头名称将采用如下结构： x-ratelimit-limit_name-limit 和 x-ratelimit-limit_name-remaining。前者表示总限制值，后者表示剩余值。适用于您的限制可能不止一个。

由于成功率较低而限制域名访问

网页爬虫API 会持续监控您在所爬取的每个域名上的成功率。如果某个域名的成功率低于 40%（按过去 5 分钟窗口计算），您对该域名的请求速率将限制为 1 req/s，直到成功率恢复。

成功率较低可能有两个原因：

• 网页爬虫API 无法处理网站的机器人流量控制系统；
• 您自己的 Cookie、请求头或其他变量干扰了网页爬虫API 的网页访问逻辑。

当您对某个域名的请求因成功率较低而受限时，您将收到包含 429 状态码和以下消息的 API 响应：

{
    "message": "由于成功率较低，访问 {domain} 已被限制为 1 req/s。如果您正在使用自定义请求头或 Cookie，请确保它们正确，然后重试。当成功率提高后，正常请求限制将自动恢复。"
}

收到此响应后，请确保您的请求参数不是导致此问题的原因。