Instrucciones para el navegador

Información sobre cómo definir instrucciones de navegador al usar Web Scraper API para manejar páginas dinámicas complejas.

Puedes definir tus propias instrucciones de navegador que se ejecutan al renderizar JavaScript.

La forma más fácil de configurar instrucciones de navegador es usando el creador visual de instrucciones de navegador potenciado por IA en el Web Scraper API Playground. Lee sobre ello aquí.

Usage

Para usar instrucciones de navegador, proporciona un conjunto de browser_instructions al crear un job.

Supongamos que quieres buscar el término pizza boxes en un sitio web.

Los parámetros de ejemplo de un job se verían así:

{
    "source": "universal",
    "url": "https://www.ebay.com/",
    "render": "html",
    "browser_instructions": [
        {
            "type": "input",
            "value": "pizza boxes",
            "selector": {
                "type": "xpath",
                "value": "//input[@class='gh-tb ui-autocomplete-input']"
            }
        },
        {
            "type": "click",
            "selector": {
                "type": "xpath",
                "value": "//input[@type='submit']"
            }
        },
        {
            "type": "wait",
            "wait_time_s": 5
        }
    ]
}

Paso 1. Debes proporcionar el "render": "html" parámetro.

Paso 2. Las instrucciones del navegador deben describirse en el "browser_instructions" campo.

Las instrucciones de navegador de ejemplo anteriores especifican que el objetivo es introducir un término de búsqueda pizza boxes en un campo de búsqueda, hacer clic search en el botón y esperar 5 segundos a que cargue el contenido.

El resultado raspado debería verse así:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Contenido después de ejecutar las instrucciones      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://www.ebay.com/",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

El HTML raspado debería verse así:

Recuperando recursos del navegador

Proveemos una instrucción de navegador independiente para recuperar recursos del navegador.

La función se define aquí:

Usar fetch_resource resultará en que el job devuelva la primera ocurrencia de un recurso Fetch/XHR que coincida con el formato proporcionado en lugar del HTML objetivo.

Digamos que queremos apuntar a un recurso GraphQL que se obtiene al visitar orgánicamente una página de producto en el navegador. Proporcionaremos la información del job así:

{
    "source": "universal",
    "url": "https://www.example.com/product-page/123",
    "render": "html",
    "browser_instructions": [
        {
            "type": "fetch_resource",
            "filter": "/graphql/product-info/123"
        }
    ]
}

Estas instrucciones darán como resultado un resultado como el siguiente:

{
  "results": [
    {
      "content": "{'product_id': 123, 'description': '', 'price': 123}",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "page": 1,
      "url": "https://example.com/v1/graphql/product-info/123/",
      "job_id": "7117835067442906114",
      "status_code": 200
    }
  ]
}

Lista de instrucciones de navegador soportadas

Lista de instrucciones

Códigos de estado

Consulta nuestros códigos de respuesta descritos aquí.

Los códigos de estado respecto a la validación de instrucciones están documentados aquí.

Errores y advertencias

Si hay un error o advertencia resultante de tus acciones de navegación, lo encontrarás en el resultado bajo las claves browser_instructions_error o browser_instructions_warnings. Por ejemplo, si has enviado las siguientes instrucciones de navegador y el xpath esperado no se encuentra en la página, el resultado incluirá una advertencia.

browser_instructions:

[
    {
        "type": "input", 
        "selector": {
            "type": "xpath",
            "value": "//input[@type='search']"
        },
        "value": "oxylabs"
    }
]

Resultados:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Contenido después de ejecutar las instrucciones      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "browser_instructions_warnings": [
        {
          "action_type": "click",
          "msg": "Unable to find selector type `xpath` with value `//input[@type=search]` on the page."
        },
      ],
      "page": 1,
      "url": "https://example.com",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

Posibles errores y advertencias

Ocurrió un error inesperado al convertir las instrucciones de navegador en acciones.

Ocurrió un error inesperado al ejecutar {action.type} instrucciones de navegador.

Acción {action.type} agotó el tiempo de espera.

No se puede encontrar el tipo de selector {selector.type} con el valor {selector.value} en la página.

AnteriorRenderizado de JavaScript SiguienteLista de instrucciones

Última actualización hace 6 meses

¿Te fue útil?

Buenas noches

Usage

Recuperando recursos del navegador

Lista de instrucciones de navegador soportadas

Códigos de estado

Errores y advertencias