Instruções do navegador

Informações sobre como definir instruções do navegador ao usar a Web Scraper API para lidar com páginas dinâmicas complexas.

Você pode definir suas próprias instruções de navegador que são executadas ao renderizar JavaScript.

circle-check

Uso

Para usar instruções de navegador, forneça um conjunto de browser_instructions ao criar um job.

Digamos que você queira pesquisar o termo pizza boxes em um site.

Um exemplo de parâmetros do job ficaria assim:

Passo 1. Você deve fornecer o "render": "html" nfpr

Passo 2. As instruções de navegador devem ser descritas no "browser_instructions" campo.

As instruções de navegador de exemplo acima especificam que o objetivo é inserir um termo de busca pizza boxes em um campo de busca, clicar no botão de busca e esperar 5 segundos para o conteúdo carregar.

O resultado raspado deve ficar assim:

O HTML raspado deve ser assim:

Buscando recursos do navegador

Fornecemos uma instrução de navegador independente para buscar recursos do navegador.

A função é definida aqui:

Usando fetch_resource resultará no retorno pelo job da primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido em vez do HTML que está sendo alvo.

Digamos que queremos direcionar um recurso GraphQL que é buscado ao visitar organicamente uma página de produto no navegador. Forneceremos as informações do job assim:

Essas instruções resultarão em um resultado assim:

Lista de instruções de navegador suportadas

Lista de instruçõeschevron-right

Códigos de status

Veja nossos códigos de resposta descritos aqui.

Códigos de status em relação à validação de instruções estão documentados aqui.

Erros e avisos

Se houver um erro ou aviso resultante de suas ações de navegação, você o encontrará no resultado sob as chaves browser_instructions_error ou browser_instructions_warnings. Por exemplo, se você enviou as seguintes instruções de navegador e o xpath esperado não foi localizado na página, o resultado incluirá um aviso.

browser_instructions:

Resultados:

Erros e avisos possíveis

Ocorreu um erro inesperado ao converter instruções de navegador em ações.

Ocorreu um erro inesperado ao executar {action.type} instruções de navegador.

Ação {action.type} expirou.

Não foi possível encontrar o tipo de seletor {selector.type} com o valor {selector.value} na página.

Atualizado

Isto foi útil?