Instruções do navegador (Beta)

Com o Web Unblocker, você pode definir instruções do navegador ao criar um job para um processo de coleta de dados mais fluido.

Ao usar Instruções Personalizadas do Navegador, você pode definir suas próprias instruções específicas do navegador que são executadas ao renderizar JavaScript.

Gerar Instruções do navegador automaticamente no Playground da Web Scraper API no painel da Oxylabs. Configure ações do navegador, teste-as e exporte as instruções geradas em formato JSON.

Como usar?

Para usar instruções do navegador, forneça um conjunto de browser_instructions ao criar um job.

Digamos que você queira pesquisar o termo caixas de pizza em um site.

Um exemplo de parâmetros do job seria o seguinte:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \\
'https://www.ebay.com' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\":\"input\",\"value\":\"pizza boxes\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@class='gh-tb ui-autocomplete-input']\"}},{\"type\":\"click\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@type='submit']\"}},{\"type\":\"wait\",\"wait_time_s\":5}]"

Etapa 1. Você deve fornecer o x-oxylabs-render: html parâmetro.

Etapa 2. As instruções do navegador devem ser descritas no x-oxylabs-browser_instructions campo.

As instruções do navegador fornecidas como valor do cabeçalho devem ser escapadas em JSON e não conter espaços extras.

As instruções de navegador de exemplo acima especificam que o objetivo é inserir um termo de busca caixas de pizza em um campo de busca, clicar no busca botão e aguardar 5 segundos para o conteúdo carregar.

O resultado coletado deve ser semelhante ao seguinte:

<!doctype html><html>
Conteúdo após executar as instruções      
</html>

O HTML coletado deve ser assim:

Obtendo recursos do navegador

Fornecemos uma instrução de navegador independente para obter recursos do navegador.

A função é definida aqui:

Usando fetch_resource resultará no job retornar a primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido em vez do HTML que está sendo segmentado.

Digamos que queremos segmentar um recurso GraphQL que é buscado ao visitar naturalmente uma página de produto no navegador. Forneceremos as informações do job assim:

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \\
'https://www.example.com/product-page/123' \
-H 'x-oxylabs-render: html' \
-H "x-oxylabs-browser-instructions: [{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/product-info\/123\"}]"

Essas instruções resultarão em um resultado como este:

{"product_id": 123, "description": "", "price": 456}

Lista de instruções de navegador compatíveis

Argumentos gerais

Todas as instruções definidas abaixo têm um conjunto consistente de argumentos. Os argumentos são os seguintes.

type

• Tipo: Enum["click", "input", "scroll", "scroll_to_bottom", "wait", "wait_for_element", "fetch_resource"]
• Descrição: Tipo da instrução do navegador.

timeout_s

• Tipo: inteiro
• Descrição: Quanto tempo até a ação ser ignorada se não for concluída a tempo.
• Restrições: 0 < timeout_s <= 60
• Valor padrão: 5

wait_time_s

• Tipo: inteiro
• Descrição: Quanto tempo esperar antes de executar a próxima ação.
• Restrições: 0 < wait_time_s <= 60
• Valor padrão: 0

on_error

• Tipo: Enum["error", "skip"]
• Descrição: Indicador do que fazer com as instruções caso esta instrução falhe:

  • "error": Interrompe a execução das instruções do navegador.
  • "skip": Continua com a próxima instrução.
• Valor padrão: "error"

Exemplo com argumentos gerais

{\"type\": \"wait_for_element\", \"selector\": {\"type\": \"text\", \"value\": \"Load More Items\"},\"timeout_s\": 5, \"wait_time_s\": 2, \"on_error\": \"skip\"}

Instruções

click

• Descrição: Clica em um elemento e espera uma quantidade definida de segundos.
• Args:

  • type: str = "click"
  • selector: dict

    • type: Enum["xpath", "css", "text"]
    • value: str
• Exemplo:

{\"type\": \"click\",\"selector\": {\"type\": \"xpath\",\"value\": \"\/\/button\"}}

input

• Descrição: Insere texto em um elemento selecionado.
• Args:

  • type: str = "input"
  • selector: dict

    • type: Enum["xpath", "css", "text"]
    • value: str
  • value: str
  • Exemplo:

{\"type\": \"input\",\"selector\": {\"type\": \"xpath\",\"value\": \"\/\/input\"},\"value\": \"pizza boxes\"}

scroll

• Descrição: Rola um número definido de pixels.
• Args:

  • type: str = "scroll"
  • x: int
  • y: int
• Exemplo:

{\"type\": \"scroll\",\"x\": 0,\"y\": 100}

scroll_to_bottom

• Descrição: Rola até o final por uma quantidade definida de segundos.
• Args:

  • type: str = "scroll_to_bottom"
• Exemplo:

{\"type\": \"scroll_to_bottom\",\"timeout_s\": 10}

wait

• Descrição: Aguarda uma quantidade definida de segundos.
• Args:

  • type: str = "wait"
• Exemplo:

{\"type\": \"wait\",\"wait_time_s\": 2}

wait_for_element

• Descrição: Aguarda o carregamento do elemento por uma quantidade definida de segundos.
• Args:

  • type: str = "wait_for_element"
  • selector: dict

    • type: Enum["xpath", "css", "text"]
    • value: str
  • Exemplo:

{\"type\": \"wait_for_element\",\"selector\": {\"type\": \"text\",\"value\": \"Load More Items\"},\"timeout_s\": 5}

fetch_resource

A URL fetch_resource a instrução deve ser a última instrução na lista de instruções do navegador; qualquer instrução subsequente não será executada.

• Descrição: Obtém a primeira ocorrência de um recurso Fetch/XHR que corresponda ao padrão definido.
• Args:

  • type: str = "fetch_resource"
  • filter: str(RegEx expression)
  • on_error: Enum["error", "skip"]
• Exemplo:

{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/item\/\"}

Validação das instruções

Qualquer inconsistência em relação ao formato da instrução resultará em um 400 código de status e uma mensagem de erro correspondente.

Por exemplo, um payload como este:

[{\"type\": \"unsupported-wait\",\"wait_time_s\": 5}]}]

Resultará em:

{    
    "errors": {
        "message": "Unsupported action type `unsupported-wait`, choose from 'click,fetch_resource,input,scroll,scroll_to_bottom,wait,wait_for_element'"
    }
}

Códigos de status

Veja nossos códigos de resposta descritos aqui.