Headers, cookies, method

Descubre cómo personalizar headers, cookies o el método HTTP al raspar con Web Scraper API.

Web Scraper API maximiza la eficiencia para desbloquear sitios web usando encabezados y cookies predefinidos por nuestro equipo. Si es necesario, puedes definir tus propios encabezados, cookies y el método HTTP.

Encabezados personalizados

Si necesita usar sus propios encabezados, puede hacerlo agregando el context:force_headers parámetro y configurarlo a true al enviar un trabajo de scraping. Web Scraper API enviará tus encabezados personalizados junto con el conjunto de encabezados predefinidos y luego los usará para acceder al sitio web.

Ejemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizadas

Si necesita usar sus propias cookies, puede hacerlo agregando el context:force_cookies parámetro y configurarlo a true al enviar un trabajo de scraping. Web Scraper API enviará tus cookies personalizadas junto con el conjunto de cookies predefinidas y luego las usará para acceder al sitio web. Si también quieres reutilizar la misma dirección IP del proxy, consulta proxy sessions documentación.

Ejemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

fuente universal la fuente utiliza el GET método HTTP por defecto.

Si necesitas enviar datos (POST) al sitio objetivo, debes establecer el método HTTP a POST y proporcionar un POST cuerpo de la solicitud codificado en Base64.

Ejemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]