Instrucciones de navegador

Información sobre cómo definir instrucciones de navegador al usar Web Scraper API para manejar páginas dinámicas complejas.

Puede definir sus propias instrucciones de navegador que se ejecutan al renderizar JavaScript.

La forma más sencilla de configurar instrucciones de navegador es usando el generador visual de instrucciones de navegador impulsado por IA en el Web Scraper API Playground. Lea sobre ello aquí.

Uso

Para usar instrucciones de navegador, proporcione un conjunto de browser_instructions al crear un trabajo.

Supongamos que desea buscar el término pizza boxes en un sitio web.

Un ejemplo de parámetros de trabajo sería el siguiente:

{
    "source": "universal",
    "url": "https://www.ebay.com/",
    "render": "html",
    "browser_instructions": [
        {
            "type": "input",
            "value": "pizza boxes",
            "selector": {
                "type": "xpath",
                "value": "//input[@class='gh-tb ui-autocomplete-input']"
            }
        },
        {
            "type": "click",
            "selector": {
                "type": "xpath",
                "value": "//input[@type='submit']"
            }
        },
        {
            "type": "wait",
            "wait_time_s": 5
        }
    ]
}

Paso 1. Debe proporcionar el "render": "html" hará que Google cargue más aplicaciones. Este parámetro solo es útil si se usa junto con el

Paso 2. Las instrucciones de navegador deben describirse en el "browser_instructions" campo.

Las instrucciones de navegador de ejemplo arriba especifican que el objetivo es ingresar un término de búsqueda pizza boxes en un campo de búsqueda, hacer clic buscar botón y esperar 5 segundos a que el contenido se cargue.

El resultado extraído debería verse así:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Contenido después de ejecutar las instrucciones      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "content": {
      "url": "https://www.ebay.com/",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

El HTML extraído debería verse así:

Obteniendo recursos del navegador

Proporcionamos una instrucción de navegador independiente para obtener recursos del navegador.

La función se define aquí:

Usando fetch_resource hará que el trabajo devuelva la primera ocurrencia de un recurso Fetch/XHR que coincida con el formato proporcionado en lugar del HTML que se está apuntando.

Supongamos que queremos apuntar a un recurso GraphQL que se obtiene al visitar una página de producto de forma orgánica en el navegador. Proporcionaremos la información del trabajo así:

{
    "source": "universal",
    "url": "https://www.example.com/product-page/123",
    "render": "html",
    "browser_instructions": [
        {
            "type": "fetch_resource",
            "filter": "/graphql/product-info/123"
        }
    ]
}

Estas instrucciones resultarán en un resultado como el siguiente:

{
  "results": [
    {
      "content": "{'product_id': 123, 'description': '', 'price': 123}",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "content": {
      "url": "https://example.com/v1/graphql/product-info/123/",
      "job_id": "7117835067442906114",
      "status_code": 200
    }
  ]
}

Lista de instrucciones de navegador compatibles

Lista de instrucciones

Códigos de estado

Vea nuestros códigos de respuesta descritos aquí.

Los códigos de estado con respecto a la validación de instrucciones están documentados aquí.

Errores y advertencias

Si hay un error o advertencia resultante de sus acciones de navegación, lo encontrará en el resultado bajo las claves browser_instructions_error o browser_instructions_warnings. Por ejemplo, si ha enviado las siguientes instrucciones de navegador y el xpath esperado no se encuentra en la página, el resultado incluirá una advertencia.

browser_instructions:

[
    {
        "type": "input", 
        "selector": {
            "type": "xpath",
            "value": "//input[@type='search']"
        },
        "value": "oxylabs"
    }
]

Resultados:

{
  "results": [
    {
      "content": "<!doctype html><html>
        Contenido después de ejecutar las instrucciones      
      </html>",
      "created_at": "2023-10-11 11:35:23",
      "updated_at": "2023-10-11 11:36:08",
      "browser_instructions_warnings": [
        {
          "action_type": "click",
          "msg": "No se puede encontrar el tipo de selector `xpath` con el valor `//input[@type=search]` en la página."
        },
      ],
      "content": {
      "url": "https://example.com",
      "job_id": "7117835067442906113",
      "status_code": 200
    }
  ]
}

Errores y advertencias posibles

Ocurrió un error inesperado al convertir las instrucciones de navegador en acciones.

Ocurrió un error inesperado al ejecutar {action.type} instrucciones de navegador.

La acción {action.type} agotó el tiempo.

No se pudo encontrar el tipo de selector {selector.type} con el valor {selector.value} en la página.

AnteriorRenderizado de JavaScript SiguienteLista de instrucciones

Última actualización hace 3 días

¿Te fue útil?

Buenas tardes

hashtagUso

hashtagObteniendo recursos del navegador

hashtagLista de instrucciones de navegador compatibles

hashtagCódigos de estado

hashtagErrores y advertencias

Uso

Obteniendo recursos del navegador

Lista de instrucciones de navegador compatibles

Códigos de estado

Errores y advertencias