Cabeçalhos, Cookies, Método

Descubra como personalizar cabeçalhos, cookies ou o método HTTP ao raspar com a Web Scraper API.

A Web Scraper API maximiza a eficiência de desbloqueio de sites usando cabeçalhos e cookies predefinidos pela nossa equipe. Se necessário, você pode definir seus próprios cabeçalhos, cookies e o método HTTP.

Cabeçalhos personalizados

Se você precisar usar seus próprios cabeçalhos, pode fazê-lo adicionando o context:force_headers parâmetro e definindo-o como true ao enviar um trabalho de scraping. A Web Scraper API enviará seus cabeçalhos personalizados junto com o conjunto de cabeçalhos predefinidos e então os usará para acessar o site.

Exemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizados

Se você precisar usar seus próprios cookies, pode fazê-lo adicionando o context:force_cookies parâmetro e definindo-o como true ao enviar um trabalho de scraping. A Web Scraper API enviará seus cookies personalizados junto com o conjunto de cookies predefinidos e então os usará para acessar o site. Se você também quiser reutilizar o mesmo endereço IP de proxy, confira a documentação de sessões de proxy documentação.

Exemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            {"page": 1, "limit": 10},
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

universal a origem usa o GET método HTTP por padrão.

Se você precisar enviar dados (POST) para o site alvo, deve definir o método HTTP como POST e fornecer um POST corpo da requisição codificado em Base64.

Exemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]