Instruções do navegador (Beta)

Com o Web Unblocker, você pode definir instruções do navegador ao criar um job para um processo de coleta de dados mais fluido.

Ao usar Custom Browser Instructions, você pode definir suas próprias instruções específicas do navegador que são executadas ao renderizar JavaScript.

Gerar Instruções do navegador automaticamente no Web Scraper API Playground no painel da Oxylabs. Configure ações do navegador, teste-as e exporte as instruções geradas em formato JSON.

Como usar?

Para usar instruções do navegador, forneça um conjunto de browser_instructions ao criar um job.

Vamos supor que você queira pesquisar o termo pizza boxes em um site.

Um exemplo de parâmetros do job seria o seguinte:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://www.ebay.com' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\":\"input\",\"value\":\"pizza boxes\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@class='gh-tb ui-autocomplete-input']\"}},{\"type\":\"click\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@type='submit']\"}},{\"type\":\"wait\",\"wait_time_s\":5}]"

Etapa 1. Você deve fornecer o x-oxylabs-render: html parâmetro.

Etapa 2. As instruções do navegador devem ser descritas no campo x-oxylabs-browser_instructions .

As instruções do navegador fornecidas como valor do cabeçalho devem estar escapadas em JSON e não conter espaços extras.

As instruções de navegador de exemplo acima especificam que o objetivo é inserir um termo de pesquisa pizza boxes em um campo de busca, clicar no botão de pesquisa e aguardar 5 segundos para o conteúdo carregar.

O resultado coletado deve ser parecido com o seguinte:

<!doctype html><html>
Conteúdo após executar as instruções      
</html>

O HTML coletado deve ser assim:

Obtendo recursos do navegador

Fornecemos uma instrução de navegador independente para obter recursos do navegador.

A função é definida aqui:

Usando fetch_resource fará com que o job retorne a primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido, em vez do HTML que está sendo alvo.

Vamos supor que queremos direcionar um recurso GraphQL que é obtido ao visitar uma página de produto organicamente no navegador. Vamos fornecer as informações do job assim:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://www.example.com/product-page/123' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/product-info\/123\"}]"

Essas instruções vão resultar em um resultado assim:

{"product_id": 123, "description": "", "price": 456}

Lista de instruções de navegador suportadas

Lista de instruções

Códigos de status

Veja nossos códigos de resposta descritos aqui.

Os códigos de status relacionados à validação das instruções estão documentados aqui.

AnteriorRenderização de JavaScript PróximoLista de instruções

Atualizado há 2 dias

Isto foi útil?

Boa noite

hashtagComo usar?

hashtagObtendo recursos do navegador

hashtagLista de instruções de navegador suportadas

hashtagCódigos de status

Como usar?

Obtendo recursos do navegador

Lista de instruções de navegador suportadas

Códigos de status