Headers, Cookies, Método

Descubra como personalizar headers, cookies ou o método HTTP ao raspar com o Web Scraper API.

Web Scraper API maximiza a eficiência de desbloqueio de sites usando cabeçalhos e cookies predefinidos pela nossa equipe. Se necessário, você pode definir seus próprios cabeçalhos, cookies e o método HTTP.

Cabeçalhos personalizados

Se você precisar usar seus próprios cabeçalhos, pode fazê-lo adicionando o context:force_headers parâmetro e definindo-o para true ao enviar um trabalho de scraping. O Web Scraper API enviará seus cabeçalhos personalizados juntamente com o conjunto de cabeçalhos predefinidos e então os usará para acessar o site.

Exemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizados

Se você precisar usar seus próprios cookies, pode fazê-lo adicionando o context:force_cookies parâmetro e definindo-o para true ao enviar um trabalho de scraping. O Web Scraper API enviará seus cookies personalizados juntamente com o conjunto de cookies predefinidos e então os usará para acessar o site. Se você também quiser reutilizar o mesmo endereço IP do proxy, confira o proxy sessions documentation.

Exemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

universal source uses the GET HTTP method by default.

If you need to post data to the target website, you must set the HTTP method to POST and provide a Base64-encoded POST request body.

Exemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]