Instruções do Navegador

Informações sobre como definir instruções do navegador ao usar a Web Scraper API para lidar com páginas dinâmicas complexas.

Você pode definir suas próprias instruções de navegador que são executadas ao renderizar JavaScript.

A maneira mais fácil de configurar instruções de navegador é usando o construtor visual de instruções de navegador com IA no Web Scraper API Playground. Leia sobre isso aqui.

Uso

Para usar instruções de navegador, forneça um conjunto de browser_instructions ao criar um job.

Vamos supor que você queira buscar o termo pizza boxes em um site.

Um exemplo de parâmetros do job seria assim:

{
    "source": "universal",
    "url": "https://www.ebay.com/",
    "render": "html",
    "browser_instructions": [
        {
            "type": "input",
            "value": "pizza boxes",
            "selector": {
                "type": "xpath",
                "value": "//input[@class='gh-tb ui-autocomplete-input']"
            }
        },
        {
            "type": "click",
            "selector": {
                "type": "xpath",
                "value": "//input[@type='submit']"
            }
        },
        {
            "type": "wait",
            "wait_time_s": 5
        }
    ]
}

Passo 1. Você deve fornecer o parâmetro "render": "html" .

Passo 2. As instruções de navegador devem ser descritas no campo "browser_instructions" .

As instruções de navegador de exemplo acima especificam que o objetivo é inserir um termo de busca pizza boxes em um campo de busca, clicar no botão de busca e esperar 5 segundos para o conteúdo carregar.

O resultado extraído deve ficar assim:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Conteúdo após executar as instruções      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://www.ebay.com/",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

O HTML extraído deve ficar assim:

Buscando recursos do navegador

Fornecemos uma instrução de navegador independente para buscar recursos do navegador.

A função é definida aqui:

Usar fetch_resource fará com que o job retorne a primeira ocorrência de um recurso Fetch/XHR que corresponda ao formato fornecido, em vez do HTML que está sendo alvo.

Vamos supor que queremos direcionar um recurso GraphQL que é buscado ao visitar uma página de produto organicamente no navegador. Vamos fornecer as informações do job assim:

{
    "source": "universal",
    "url": "https://www.example.com/product-page/123",
    "render": "html",
    "browser_instructions": [
        {
            "type": "fetch_resource",
            "filter": "/graphql/product-info/123"
        }
    ]
}

Estas instruções resultarão em um resultado assim:

{
  "results": [
    {
      "content": "{'product_id': 123, 'description': '', 'price': 123}",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://example.com/v1/graphql/product-info/123/",
      "job_id": "7117835067442906114",
      "status_code": 200
    }
  ]
}

Lista de instruções de navegador suportadas

Lista de instruções

Códigos de status

Veja nossos códigos de resposta descritos aqui.

Os códigos de status relacionados à validação de instruções estão documentados aqui.

Erros e avisos

Se houver um erro ou aviso resultante de suas ações de navegação, você o encontrará no resultado sob as chaves browser_instructions_error ou browser_instructions_warnings. Por exemplo, se você enviou as seguintes instruções de navegador e o xpath esperado não for encontrado na página, o resultado incluirá um aviso.

browser_instructions:

[
    {
        "type": "input", 
        "selector": {
            "type": "xpath",
            "value": "//input[@type='search']"
        },
        "value": "oxylabs"
    }
]

Resultados:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Conteúdo após executar as instruções      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "browser_instructions_warnings": [
        {
          "action_type": "click",
          "msg": "Unable to find selector type `xpath` with value `//input[@type=search]` on the page."
        },
      ],
      "page": 1,
      "url": "https://example.com",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

Possíveis erros e avisos

Ocorreu um erro inesperado ao converter instruções de navegador em ações.

Ocorreu um erro inesperado ao executar {action.type} .

Ação {action.type} expirou.

Não foi possível encontrar o tipo de seletor {selector.type} com o valor {selector.value} na página.

AnteriorRenderização de JavaScript PróximoLista de instruções

Atualizado há 19 minutos

Isto foi útil?

Boa tarde

hashtagUso

hashtagBuscando recursos do navegador

hashtagLista de instruções de navegador suportadas

hashtagCódigos de status

hashtagErros e avisos

Uso

Buscando recursos do navegador

Lista de instruções de navegador suportadas

Códigos de status

Erros e avisos