Encabezados, cookies, método

Descubre cómo personalizar encabezados, cookies o el método HTTP al extraer con Web Scraper API.

Web Scraper API maximiza la eficiencia de acceso al sitio web usando encabezados y cookies predefinidos por nuestro equipo. Si es necesario, puedes definir tus propios encabezados, cookies y el método HTTP.

Encabezados personalizados

Si necesitas tus propios encabezados, puedes usarlos añadiendo context:force_headers el parámetro y estableciéndolo en true al enviar un trabajo de scraping. Web Scraper API enviará tus encabezados personalizados junto con el conjunto de encabezados predefinidos y luego los usará para acceder al sitio web.

Ejemplo de código

{
    "context": [
        {
            "key": "force_headers",
            "value": true
        },
        {
            "key": "headers",
            "value": {
                "Accept-Language": "en-US,en;q=0.5"
            }
        }
    ],
    "source": "universal",
    "url": "https://example.com"
}

cookies personalizadas

Si necesitas tus propias cookies, puedes usarlas añadiendo context:force_cookies el parámetro y estableciéndolo en true al enviar un trabajo de scraping. Web Scraper API enviará tus cookies personalizadas junto con el conjunto de cookies predefinidas y luego las usará para acceder al sitio web. Si también quieres reutilizar la misma dirección IP de proxy, consulta la sesiones de proxy documentación.

Ejemplo de código

{
    "context": [
        {
            "key": "force_cookies",
            "value": true
        },
        {
            "key": "cookies",
            "value": [
                {
                    "key": "NID",
                    "value": "1234567890"
                }
            ]
        }
    ],
    "source": "universal",
    "url": "https://example.com"
}

Método HTTP

universal source usa el GET método HTTP de forma predeterminada.

Si necesitas publicar datos en el sitio web de destino, debes establecer el método HTTP en POST y proporcionar un cuerpo de solicitud codificado en Base64 POST en context:content. El ejemplo siguiente publica hello=world (Base64: aGVsbG89d29ybGQ=) a una página que devuelve la solicitud, para que puedas ver el cuerpo en el campo de datos del contenido devuelto.

Ejemplo de código

{
    "source": "universal",
    "url": "https://httpbin.org/post",
    "context": [
        {
            "key": "http_method",
            "value": "post"
        },
        {
            "key": "content",
            "value": "aGVsbG89d29ybGQ="
        }
    ]
}