请求头、Cookie、方法

了解在使用 网页爬虫API 抓取时，如何自定义请求头、Cookie 或 HTTP 方法。

网页爬虫API通过使用我们团队预定义的请求头和Cookie，最大化网站解锁效率。如有需要，您可以定义自己的请求头、Cookie和 HTTP 方法。

自定义标头

如果你需要使用自己的标头，可以通过添加 context:force_headers 参数并将其设置为 true 在提交抓取任务时。网页爬虫API会将你的自定义请求头与预定义请求头集合一起发送，然后使用它们访问网站。

代码示例

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "请求头",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

自定义 Cookie

如果你需要使用自己的 Cookie，可以通过添加以下内容来实现 context:force_Cookie 参数并将其设置为 true 在提交抓取任务时。网页爬虫API会将您的自定义Cookie与预定义的Cookie集一起发送，然后使用它们访问网站。如果您还想复用同一个代理 IP 地址，请查看 代理会话 文档。

代码示例

{
    "context": [
        {
            "key": "force_Cookie",
            "value": true
        },
        {
            "key": "Cookie",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

HTTP 方法

universal 源使用了 GET 默认的 HTTP 方法。

如果你需要向目标网站提交数据，必须将 HTTP 方法设置为 POST 并提供一个 Base64 编码的 POST 请求体。

代码示例

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]