Encabezados, cookies, método

Descubre cómo personalizar encabezados, cookies o método HTTP al raspar con Web Scraper API.

Web Scraper API maximiza la eficiencia de desbloqueo de sitios web usando encabezados y cookies predefinidos por nuestro equipo. Si es necesario, puedes definir tus propios encabezados, cookies y el método HTTP.

Encabezados personalizados

Si necesitas usar tus propios encabezados, puedes hacerlo agregando el context:force_headers parámetro y estableciéndolo en true al enviar un trabajo de scraping. Web Scraper API enviará tus encabezados personalizados junto con el conjunto de encabezados predefinidos y luego los usará para acceder al sitio web.

Ejemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ]
    "source": "universal",
    "url": "https://example.com",
}

Cookies personalizadas

Si necesitas usar tus propias cookies, puedes hacerlo agregando el context:force_cookies parámetro y estableciéndolo en true al enviar un trabajo de scraping. Web Scraper API enviará tus cookies personalizadas junto con el conjunto de cookies predefinidas y luego las usará para acceder al sitio web. Si también quieres reutilizar la misma IP de proxy, consulta la proxy sessions documentación.

Ejemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "key": "limit_per_page",
                {
                    "key": "NID", 
                    "value": "1234567890"
                }
            ]
        },
    ],
    "source": "universal",
    "url": "https://example.com",
}

Método HTTP

universal source uses the GET HTTP method by default.

Si necesitas enviar datos al sitio web objetivo, debes establecer el método HTTP en POST y proporcionar un POST cuerpo de la solicitud codificado en Base64.

Ejemplo de código

[
    {
        "key": "http_method",
        "value": "post"
    },
    {
        "key": "content",
        "value": "base64EncodedPOSTBody"
    }
]