Instrucciones del navegador (Beta)

Con Web Unblocker, puedes definir instrucciones del navegador al crear un trabajo para un proceso de recopilación de datos fluido.

Cuando se usan Instrucciones personalizadas del navegador, puede definir sus propias instrucciones específicas del navegador que se ejecutan al renderizar JavaScript.

Generar Instrucciones del navegador automáticamente en el Playground de Web Scraper API en el panel de Oxylabs. Configure acciones del navegador, pruébelas y exporte las instrucciones generadas en formato JSON.

¿Cómo usarlo?

Para usar instrucciones del navegador, proporcione un conjunto de browser_instructions al crear un trabajo.

Supongamos que desea buscar el término cajas de pizza en un sitio web.

Un ejemplo de parámetros del trabajo sería el siguiente:

curl -k -x https://unblock.oxylabs.io:60000 \\
-U 'USERNAME:PASSWORD' \
'https://www.ebay.com' \\
-H 'x-oxylabs-render: html' \\
-H "x-oxylabs-browser-instructions: [{\"type\":\"input\",\"value\":\"pizza boxes\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@class='gh-tb ui-autocomplete-input']\"}},{\"type\":\"click\",\"selector\":{\"type\":\"xpath\",\"value\":\"\/\/input[@type='submit']\"}},{\"type\":\"wait\",\"wait_time_s\":5}]"

Paso 1. Debe proporcionar el x-oxylabs-render: html parámetro.

Paso 2. Las instrucciones del navegador deben describirse en el x-oxylabs-browser_instructions campo.

Las instrucciones del navegador proporcionadas como valor del encabezado deben escaparse en JSON y no contener espacios extra.

El ejemplo de instrucciones del navegador anterior especifica que el objetivo es introducir un término de búsqueda cajas de pizza en un campo de búsqueda, hacer clic en el búsqueda botón y esperar 5 segundos a que el contenido cargue.

El resultado extraído debería verse así:

<!doctype html><html>
Contenido después de ejecutar las instrucciones      
</html>

El HTML extraído debería verse así:

Obtención de recursos del navegador

Proporcionamos una instrucción independiente del navegador para obtener recursos del navegador.

La función se define aquí:

Usando fetch_resource hará que el trabajo devuelva la primera ocurrencia de un recurso Fetch/XHR que coincida con el formato proporcionado en lugar del HTML que se está apuntando.

Supongamos que queremos apuntar a un recurso GraphQL que se obtiene al visitar de forma orgánica una página de producto en el navegador. Proporcionaremos la información del trabajo así:

curl -k -x https://unblock.oxylabs.io:60000 \\
-U 'USERNAME:PASSWORD' \
'https://www.example.com/product-page/123' \\
-H 'x-oxylabs-render: html' \\
-H "x-oxylabs-browser-instructions: [{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/product-info\/123\"}]"

Estas instrucciones darán como resultado algo así:

{"product_id": 123, "description": "", "price": 456}

Lista de instrucciones de navegador compatibles

Argumentos generales

Todas las instrucciones definidas a continuación tienen un conjunto coherente de argumentos. Los argumentos son los siguientes.

`escribir`

Tipo: Enum["click", "input", "scroll", "scroll_to_bottom", "wait", "wait_for_element", "fetch_resource"]
Descripción: Tipo de instrucción del navegador.

`timeout_s`

Tipo: entero
Descripción: Cuánto tiempo hasta que se omita la acción si no se completa a tiempo.
Restricciones: 0 < timeout_s <= 60
Valor predeterminado: 5

`wait_time_s`

Tipo: entero
Descripción: Cuánto esperar antes de ejecutar la siguiente acción.
Restricciones: 0 < wait_time_s <= 60
Valor predeterminado: 0

`on_error`

Tipo: Enum["error", "skip"]
Descripción: Indicador de qué hacer con las instrucciones en caso de que esta instrucción falle:
- "error": Detiene la ejecución de las instrucciones del navegador.
- "skip": Continúa con la siguiente instrucción.
Valor predeterminado: "error"

Ejemplo con argumentos generales

[{\"type\": \"wait_for_element\", \"selector\": {\"type\": \"text\", \"value\": \"Load More Items\"},\"timeout_s\": 5, \"wait_time_s\": 2, \"on_error\": \"skip\"}]

Instrucciones

`hacer clic`

Descripción: Hace clic en un elemento y espera una cantidad fija de segundos.
Argumentos:
- tipo: cadena = "click"
- selector: diccionario
  - tipo: Enum["xpath", "css", "text"]
  - valor: cadena
Ejemplo:

{\"type\": \"click\",\"selector\": {\"type\": \"xpath\",\"value\": \"\/\/button\"}}

`input`

Descripción: Introduce texto en un elemento seleccionado.
Argumentos:
- tipo: cadena = "input"
- selector: diccionario
  - tipo: Enum["xpath", "css", "text"]
  - valor: cadena
- valor: cadena
- Ejemplo:

{\"type\": \"input\",\"selector\": {\"type\": \"xpath\",\"value\": \"\/\/input\"},\"value\": \"pizza boxes\"}

`scroll`

Descripción: Desplaza una cantidad determinada de píxeles.
Argumentos:
- tipo: cadena = "scroll"
- x: entero
- y: entero
Ejemplo:

{\"type\": \"scroll\",\"x\": 0,\"y\": 100}

`scroll_to_bottom`

Descripción: Desplaza hasta abajo durante una cantidad determinada de segundos.
Argumentos:
- tipo: cadena = "scroll_to_bottom"
Ejemplo:

{\"type\": \"scroll_to_bottom\",\"timeout_s\": 10}

`esperar`

Descripción: Espera una cantidad determinada de segundos.
Argumentos:
- tipo: cadena = "wait"
Ejemplo:

{\"type\": \"wait\",\"wait_time_s\": 2}

`wait_for_element`

Descripción: Espera a que el elemento cargue durante una cantidad determinada de segundos.
Argumentos:
- tipo: cadena = "wait_for_element"
- selector: diccionario
  - tipo: Enum["xpath", "css", "text"]
  - valor: cadena
- Ejemplo:

{\"type\": \"wait_for_element\",\"selector\": {\"type\": \"text\",\"value\": \"Load More Items\"},\"timeout_s\": 5}

`fetch_resource`

La fetch_resource la instrucción debe ser la última instrucción en la lista de instrucciones del navegador; cualquier instrucción posterior no se ejecutará.

Descripción: Obtiene la primera ocurrencia de un recurso Fetch/XHR que coincida con el patrón establecido.
Argumentos:
- tipo: cadena = "fetch_resource"
- filtro: cadena (expresión RegEx)
- on_error: Enum["error", "skip"]
Ejemplo:

{\"type\": \"fetch_resource\",\"filter\": \"\/graphql\/item\/\"}

Validación de las instrucciones

Cualquier inconsistencia con respecto al formato de la instrucción dará como resultado un 400 código de estado y un mensaje de error correspondiente.

Por ejemplo, una carga útil como esta:

[{\"type\": \"unsupported-wait\",\"wait_time_s\": 5}]}]

Dará como resultado:

{    
    "errors": {
        "message": "Unsupported action type `unsupported-wait`, choose from 'click,fetch_resource,input,scroll,scroll_to_bottom,wait,wait_for_element'"
    }
}

Códigos de estado

Consulte nuestros códigos de respuesta descritos aquí.

AnteriorRenderizado de JavaScript

SiguienteHabilidades del agente

Última actualización hace 1 mes

¿Te fue útil?