Encabezados, cookies, método

Descubre cómo personalizar encabezados, cookies o el método HTTP al extraer con Web Scraper API.

Web Scraper API maximiza la eficiencia de desbloqueo de sitios web usando encabezados y cookies predefinidos por nuestro equipo. Si es necesario, puedes definir tus propios encabezados, cookies y el método HTTP.

Headers personalizados

Si necesitas usar tus propios headers, puedes hacerlo añadiendo el context:force_headers parámetro y configurarlo en true al enviar un trabajo de scraping. Web Scraper API enviará tus encabezados personalizados junto con el conjunto de encabezados predefinidos y luego los usará para acceder al sitio web.

Ejemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizados

Si necesitas usar tus propias cookies, puedes hacerlo añadiendo el context:force_cookies parámetro y configurarlo en true al enviar un trabajo de scraping. Web Scraper API enviará tus cookies personalizadas junto con el conjunto de cookies predefinidas y luego las usará para acceder al sitio web. Si también quieres reutilizar la misma dirección IP de proxy, consulta la documentación de sesiones de proxy documentación.

Ejemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

universal la fuente usa el GET método HTTP por defecto.

Si necesitas enviar datos al sitio web de destino, debes establecer el método HTTP en POST y proporcionar un POST cuerpo de la solicitud codificado en Base64.

Ejemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]