Captura de Requisições de Rede (Fetch/XHR)

Busque a atividade de rede do Web Scraper API usando a flag XHR. Recupere todas as requisições Fetch/XHR feitas durante o carregamento da página como JSON estruturado para facilitar a extração de dados.

Às vezes é mais conveniente extrair os dados necessários de uma ou mais requisições Fetch/XHR que o navegador faz ao carregar a página, em vez de analisar o HTML.

A Web Scraper API suporta retornar a lista de requisições XHR feitas durante o carregamento da página.

Uso

Para obter uma lista de requisições XHR na resposta, inclua o "xhr": true sinalizador como no exemplo de payload abaixo:

{
    "url": "https://example.com",
    "render": "html",
    "xhr": true
}

A resposta conterá uma lista de objetos JSON, cada um representando uma única requisição XHR.

{
    "results": [
        {
            "content": [
                    {
                    "url": "https://example.pilot.ebu.io/api/fallback/RTE",
                    "method": "GET",
                    "status_code": 200,
                    "response_body": "\"https://pilot-fallback.s3-eu-west-1.amazonaws.com/RTE.jpg\"",
                    "request_headers": {
                        "accept": "*/*",
                        "origin": "https://example.reco.ebu.io",
                        "referer": "https://example.com/",
                        "sec-ch-ua": "\"Chromium\";v=\"124\", \"Microsoft Edge\";v=\"124\", \"Not-A.Brand\";v=\"99\"",
                        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0",
                        "sec-fetch-dest": "empty",
                        "sec-fetch-mode": "cors",
                        "sec-fetch-site": "cross-site",
                        "accept-encoding": "gzip, deflate, br, zstd",
                        "accept-language": "en-US,en;q=0.9",
                        "sec-ch-ua-mobile": "?0",
                        "sec-ch-ua-platform": "\"Windows\""
                        },
                    "request_payload": null,
                    "response_headers": {
                        "age": "491",
                        "via": "1.1 3ee81347c1935256691739f42090cfd8.cloudfront.net (CloudFront)",
                        "date": "Fri, 30 May 2025 05:30:44 GMT",
                        "x-eks": "1",
                        "server": "uvicorn",
                        "x-cache": "Hit from cloudfront",
                        "x-amz-cf-id": "ESUATPCUwy-AJ-8OBgKoF3niz-jD87TIyyNypzOKNQL56VCL33XJGw==",
                        "content-type": "application/json",
                        "x-amz-cf-pop": "LAX54-P3",
                        "cache-control": "max-age=600",
                        "content-length": "59",
                        "access-control-allow-origin": "*"
                    }
                },
                {...more xhr requests...}
            ],
            "type": "xhr"
}

Chave de saída	Descrição	Tipo
url	URL completa da requisição XHR	string
status_code	Código de status HTTP da resposta	integer
método	Método HTTP usado na requisição	string
request_headers	Pares chave-valor de requisição headers, incluindo cookies	object
response_headers	Pares chave-valor de resposta headers, incluindo cookies	object
request_payload	Payload (inclua esta chave apenas em requisições POST, PUT, PATCH)	string
response_body	Corpo da resposta	string