请求头、Cookie 和方法

了解如何在使用网页爬虫API抓取时自定义请求头、Cookie 或 HTTP 方法。

网页爬虫API 通过使用我们团队预定义的请求头和 Cookie 来最大化网站访问效率。如有需要，你可以定义自己的请求头、Cookie 和 HTTP 方法。

自定义请求头

如果你需要自己的请求头，可以通过添加 context:force_headers 参数并将其设置为 true 在提交抓取任务时使用。网页爬虫API 会将你的自定义请求头与预定义的请求头集合一起发送，然后用它们访问网站。

代码示例

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "标头",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

自定义 Cookie

如果你需要自己的 Cookie，你可以通过添加 context:force_Cookie 参数并将其设置为 true 在提交抓取任务时。网页爬虫API 会将你的自定义 Cookie 与预定义 Cookie 集合一起发送，然后使用它们访问网站。如果你还想重用相同的代理 IP 地址，请查看 代理会话 文档。

代码示例

{
    "context": [
        {
            "key": "force_Cookie",
            "value": true
        },
        {
            "key": "Cookie",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

HTTP 方法

universal 源使用该 GET 默认的 HTTP 方法。

如果你需要向目标网站发送数据，必须将 HTTP 方法设置为 POST 并提供一个经过 Base64 编码的 POST 请求体。

代码示例

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]