Cabeçalhos, cookies, método

Descubra como personalizar cabeçalhos, cookies ou o método HTTP ao raspar com a Web Scraper API.

Web Scraper API maximiza a eficiência de desbloqueio de sites usando headers e cookies predefinidos pela nossa equipe. Se necessário, você pode definir seus próprios headers, cookies e o método HTTP.

Headers personalizados

Se você precisar usar seus próprios headers, pode fazer isso adicionando o context:force_headers parâmetro e definindo-o para true ao enviar um job de scraping. O Web Scraper API enviará seus headers personalizados junto com o conjunto de headers predefinidos e então os usará para acessar o site.

Exemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizados

Se você precisar usar seus próprios cookies, pode fazer isso adicionando o context:force_cookies parâmetro e definindo-o para true ao enviar um job de scraping. O Web Scraper API enviará seus cookies personalizados junto com o conjunto de cookies predefinidos e então os usará para acessar o site. Se você também quiser reutilizar o mesmo endereço IP de proxy, confira a sessões de proxy documentação.

Exemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

universal a origem usa o GET método HTTP por padrão.

Se você precisar enviar dados para o site de destino, você deve definir o método HTTP como POST e fornecer um POST corpo da requisição codificado em Base64.

Exemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]