Instruções do navegador (Beta)

Com o Web Unblocker, você pode definir instruções do navegador ao criar um job para um processo de coleta de dados mais tranquilo.

Ao usar Headless Browser, você pode definir suas próprias instruções de navegador que são executadas ao renderizar JavaScript.

Gerar Instruções do navegador automaticamente no Web Scraper API Playground no painel da Oxylabs. Configure ações do navegador, teste-as e exporte as instruções geradas em formato JSON.

Como usar?

Para usar instruções do navegador, forneça um conjunto de browser_instructions ao criar um job.

Digamos que você queira buscar o termo pizza boxes em um site.

Um exemplo de parâmetros do job seria o seguinte:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://www.ebay.com' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\":\"input\",\"value\":\"pizza boxes\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@class='gh-tb ui-autocomplete-input']\"}},{\"type\":\"click\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@type='submit']\"}},{\"type\":\"wait\",\"wait_time_s\":5}]"

Passo 1. Você deve fornecer o x-oxylabs-render: html parâmetro.

Passo 2. As instruções do navegador devem ser descritas no x-oxylabs-browser_instructions campo.

As instruções do navegador fornecidas como valor do header devem ser escapadas em JSON e não conter espaços extras.

As instruções de exemplo acima especificam que a intenção é inserir um termo de busca pizza boxes em um campo de busca, clicar no botão de buscar e aguardar 5 segundos para o conteúdo carregar.

O resultado raspado deve ser semelhante ao seguinte:

<!doctype html><html>
Conteúdo após executar as instruções      
</html>

O HTML raspado deve ser assim:

Buscando recursos do navegador

Fornecemos uma instrução de navegador independente para buscar recursos do navegador.

A função é definida aqui:

Usando fetch_resource fará com que o job retorne a primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido em vez do HTML alvo.

Digamos que queiramos direcionar um recurso GraphQL que é buscado ao visitar organicamente uma página de produto no navegador. Forneceremos as informações do job da seguinte forma:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://www.example.com/product-page/123' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/product-info\/123\"}]"

Essas instruções resultarão em um resultado como este:

{"product_id": 123, "description": "", "price": 456}

Lista de instruções do navegador suportadas

Lista de instruções

Códigos de status

Veja nossos códigos de resposta descritos aqui.

Códigos de status em relação à validação de instruções estão documentados aqui.

AnteriorRenderização de JavaScript PróximoLista de instruções

Atualizado há 2 meses

Isto foi útil?

Boa tarde

hashtagComo usar?

hashtagBuscando recursos do navegador

hashtagLista de instruções do navegador suportadas

hashtagCódigos de status

Como usar?

Buscando recursos do navegador

Lista de instruções do navegador suportadas

Códigos de status