请求头、Cookie、方法

了解在使用 网页爬虫 API 抓取时如何自定义请求头、Cookie 或 HTTP 方法。

Web Scraper API 通过使用我们团队预定义的 headers 和 cookies，将网站解锁效率最大化。如有需要，您可以定义自己的 headers、cookies 和 HTTP 方法。

自定义 headers

如果您需要使用自己的 headers，可以通过添加 context:force_headers 参数并将其设置为 true 在提交抓取任务时。Web Scraper API 会将您自定义的 headers 与预定义的 headers 一并发送，然后使用它们访问网站。

代码示例

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

自定义 cookies

如果您需要使用自己的 cookies，可以通过添加 context:force_cookies 参数并将其设置为 true 在提交抓取任务时。Web Scraper API 会将您自定义的 cookies 与预定义的 cookies 一并发送，然后使用它们访问网站。如果您还想重用相同的代理 IP 地址，请查看 proxy sessions 文档。

代码示例

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

HTTP 方法

universal 源默认使用 GET HTTP 方法。

如果您需要向目标网站提交数据，必须将 HTTP 方法设置为 POST 并提供一个 Base64 编码的 POST 请求主体。

代码示例

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]