Capturando solicitações de rede (Fetch/XHR)

Capture a atividade de rede do Web Scraper API usando o sinalizador XHR. Recupere todas as solicitações Fetch/XHR feitas durante o carregamento da página como JSON estruturado para facilitar a extração de dados.

Às vezes, é mais conveniente extrair os dados necessários de uma ou mais requisições Fetch/XHR que o navegador faz ao carregar a página da web, em vez de analisar o HTML.

Web Scraper API oferece suporte ao retorno da lista de requisições XHR feitas ao carregar a página da web.

Uso

Para obter uma lista de requisições XHR na resposta, inclua a "xhr": true flag como no exemplo de payload abaixo. A renderização de JavaScript é necessária (render deve ser definido; sem ele a requisição é rejeitada). Quando xhr está definido, a lista XHR se torna a saída padrão do job; adicione ?type=raw,xhr ao endpoint para receber também o HTML.

{
    "source": "universal",
    "url": "https://petstore.swagger.io/",
    "render": "html",
    "xhr": true
}

A resposta conterá uma lista de objetos JSON, cada um representando uma única requisição XHR.

{
    "results": [
        {
            "content": [
                {
                    "url": "https://petstore.swagger.io/v2/swagger.json",
                    "method": "GET",
                    "status_code": 200,
                    "response_body": "{\"swagger\":\"2.0\",\"info\":{\"description\":\"Este é um servidor de exemplo Petstore. Você pode saber mais sobre Swagger em [http://swagger.io](http://swagger.io) ou em [irc.freenode.net, #swagger](http://swagger.io/irc/). ...",
                    "request_headers": {
                        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                        "accept-encoding": "gzip, deflate, br, zstd",
                        "priority": "u=0, i",
                        "referer": "https://petstore.swagger.io/",
                        "save-data": "on",
                        "sec-ch-ua": "\"Chromium\";v=\"136\", \"Microsoft Edge\";v=\"136\", \"Not.A/Brand\";v=\"99\"",
                        "sec-ch-ua-mobile": "?0",
                        "sec-ch-ua-platform": "\"macOS\"",
                        "sec-fetch-dest": "document",
                        "sec-fetch-mode": "navigate",
                        "sec-fetch-site": "none",
                        "sec-fetch-user": "?1",
                        "upgrade-insecure-requests": "1",
                        "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36 Edg/136.0.0.0"
                    },
                    "request_payload": null,
                    "response_headers": {
                        "access-control-allow-headers": "Content-Type, api_key, Authorization",
                        "access-control-allow-methods": "GET, POST, DELETE, PUT",
                        "access-control-allow-origin": "*",
                        "content-type": "application/json",
                        "date": "Mon, 14 Sep 2026 11:12:15 GMT",
                        "server": "Jetty(9.2.9.v20150224)"
                    }
                }
            ],
            "created_at": "2026-09-14 11:12:07",
            "updated_at": "2026-09-14 11:12:20",
            "page": 1,
            "url": "https://petstore.swagger.io/",
            "job_id": "7505221841498163201",
            "status_code": 200,
            "type": "xhr"
        }
    ],
    "job": {...}
}

Chave de saída	Descrição	Tipo
url	URL completa da requisição XHR	texto
status_code	Código de status HTTP da resposta	inteiro
method	Método HTTP usado para a requisição	texto
request_headers	Pares de chave e valor dos requisição cabeçalhos, incluindo cookies	objeto
response_headers	Pares de chave e valor dos resposta cabeçalhos, incluindo cookies	objeto
request_payload	Payload (inclua esta chave apenas com requisições POST, PUT, PATCH)	texto
response_body	Corpo da resposta	texto