Instruções do navegador

Informações sobre como definir instruções do navegador ao usar a Web Scraper API para lidar com páginas dinâmicas complexas.

Você pode definir suas próprias instruções de navegador que são executadas ao renderizar JavaScript.

A maneira mais fácil de configurar instruções de navegador é usando o criador visual de instruções de navegador com IA no Web Scraper API Playground. Leia sobre isso aqui.

Uso

Para usar instruções de navegador, forneça um conjunto de browser_instructions ao criar um job.

Digamos que você queira pesquisar o termo pizza boxes em um site.

Um exemplo de parâmetros de job seria o seguinte:

{
    "source": "universal",
    "url": "https://www.ebay.com/",
    "render": "html",
    "browser_instructions": [
        {
            "type": "input",
            "value": "pizza boxes",
            "selector": {
                "type": "xpath",
                "value": "//input[@class='gh-tb ui-autocomplete-input']"
            }
        },
        {
            "type": "click",
            "selector": {
                "type": "xpath",
                "value": "//input[@type='submit']"
            }
        },
        {
            "type": "wait",
            "wait_time_s": 5
        }
    ]
}

Passo 1. Você deve fornecer o "render": "html" parâmetro.

Passo 2. Instruções de navegador devem ser descritas no "browser_instructions" campo.

As instruções de navegador de exemplo acima especificam que o objetivo é inserir um termo de pesquisa pizza boxes em um campo de busca, clicar search no botão e esperar 5 segundos para o conteúdo carregar.

O resultado raspado deve ser parecido com o seguinte:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Conteúdo após a execução das instruções      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://www.ebay.com/",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

O HTML raspado deve ser assim:

Obtendo recursos do navegador

Fornecemos uma instrução de navegador independente para obter recursos do navegador.

A função é definida aqui:

Usando fetch_resource resultará no retorno do job com a primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido em vez do HTML que está sendo alvo.

Digamos que queremos direcionar um recurso GraphQL que é buscado ao visitar uma página de produto organicamente no navegador. Iremos fornecer as informações do job da seguinte forma:

{
    "source": "universal",
    "url": "https://www.example.com/product-page/123",
    "render": "html",
    "browser_instructions": [
        {
            "type": "fetch_resource",
            "filter": "/graphql/product-info/123"
        }
    ]
}

Essas instruções resultarão em um resultado como este:

{
  "results": [
    {
      "content": "{'product_id': 123, 'description': '', 'price': 123}",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://example.com/v1/graphql/product-info/123/",
      "job_id": "7117835067442906114",
      "status_code": 200
    }
  ]
}

Lista de instruções de navegador suportadas

Lista de instruções

Códigos de status

Veja nossos códigos de resposta descritos aqui.

Códigos de status em relação à validação de instruções estão documentados aqui.

Erros e avisos

Se houver um erro ou aviso resultante de suas ações de navegação, você o encontrará no resultado sob as chaves browser_instructions_error ou browser_instructions_warnings. Por exemplo, se você enviou as seguintes instruções de navegador e o xpath esperado não for localizado na página, o resultado incluirá um aviso.

browser_instructions:

[
    {
        "type": "input", 
        "selector": {
            "type": "xpath",
            "value": "//input[@type='search']"
        },
        "value": "oxylabs"
    }
]

Resultados:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Conteúdo após a execução das instruções      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "browser_instructions_warnings": [
        {
          "action_type": "click",
          "msg": "Não foi possível encontrar o tipo de seletor `xpath` com o valor `//input[@type=search]` na página."
        },
      ],
      "page": 1,
      "url": "https://example.com",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

Erros e avisos possíveis

Ocorreu um erro inesperado ao converter instruções de navegador em ações.

Ocorreu um erro inesperado ao executar {action.type} instruções de navegador.

Ação {action.type} expirou.

Não foi possível encontrar o tipo de seletor {selector.type} com valor {selector.value} na página.

AnteriorRenderização de JavaScript PróximoLista de instruções

Atualizado há 7 meses

Isto foi útil?

Bom dia

hashtagUso

hashtagObtendo recursos do navegador

hashtagLista de instruções de navegador suportadas

hashtagCódigos de status

hashtagErros e avisos

Uso

Obtendo recursos do navegador

Lista de instruções de navegador suportadas

Códigos de status

Erros e avisos