OxyCopilot

Automatiza el scraping con OxyCopilot. Aprende a generar payloads para Web Scraper API, parsers personalizados e instrucciones de navegador usando prompts en lenguaje natural sencillos.

OxyCopilot es una función gratuita Web Scraper API función que facilita la incorporación y ayuda a los usuarios a encontrar soluciones efectivas para casos de uso complejos, todo sin necesidad de conocimientos de programación. OxyCopilot incluye actualmente tres funciones separadas:

• Constructor de scrapers

• Analizador personalizado constructor

• Constructor de instrucciones del navegador

OxyCopilot es accesible en el Web Playground de Scraper API en el panel de control de Oxylabs.

Constructor de scrapers

OxyCopilot te ayuda a configurar un scraper (y a formar la carga útil de la petición) para la Web Scraper API sin necesidad de entender la documentación o la lógica de los campos.

Cómo funciona

Paso 1: Proporciona una URL y un prompt

• URL: Proporciona la URL que deseas extraer.

• Prompt: Describe tus requisitos (p. ej., localización, renderizado JS, etc.).

Paso 2: Analizar

Tienes tres opciones para manejar el análisis:

1. Analizador personalizado: Selecciona "Agregar instrucciones de análisis" para crear tu propia lógica de análisis usando el Constructor de Parser personalizado.

2. Parser dedicado: Si la URL proviene de un sitio web para el que ofrecemos un parser dedicado y quieres usarlo, selecciona "Continuar con Parser dedicado".

3. Sin análisis: Elige continuar sin análisis si no se necesitan datos estructurados.

Si la URL pertenece a un sitio web para el que tenemos un parser dedicado, pero no necesitas datos estructurados, selecciona "Continuar con Parser dedicado" y desactiva el parámetro parse en la configuración del playground. Evita usar el botón de salir, ya que no guardará los parámetros prellenados.

Si no tenemos un parser dedicado

Si tenemos un parser dedicado

Paso 3: Revisa la petición

Según tu prompt, OxyCopilot rellenará previamente los parámetros necesarios en el Web Scraper API Playground. Verás el código de petición específico y los parámetros para tu caso de uso, y podrás ajustar los parámetros si es necesario.

Paso 4: Envía la petición y copia

Si todo se ve bien, envía la petición para ver cómo se muestra la salida y comprobar si funciona como esperas. Luego, copia el código de la petición para usarlo en tus futuras tareas de scraping con la Web Scraper API.

Ejemplo

URL

https://www.amazon.de/s?k=adidas

Prompt

Extrae la página de búsqueda de Amazon desde la URL proporcionada y localiza los resultados a Polonia.

Parámetros generados por IA (JSON)

{
        "source": "amazon_search",
        "query": "adidas",
        "geo_location": "PL",
        "domain": "de"
}

Códigos de petición generados por IA

Constructor de Parser personalizado

Aprovecha la Analizador personalizado función con OxyCopilot para construir un parser sin necesidad de escribir código ni analizar manualmente las estructuras del sitio web.

Cómo funciona

Paso 1: Proporciona URL(s) y prompt

• URL(s): Puedes proporcionar hasta 3 URL para las cuales deseas generar instrucciones de análisis. OxyCopilot utiliza el HTML de las URL proporcionadas para determinar la mejor lógica para extraer los campos requeridos.

Cuantas más URL proporciones, más robustas serán las instrucciones de análisis, ya que OxyCopilot identifica patrones comunes entre páginas similares. Ten en cuenta que URL adicionales pueden aumentar el tiempo de espera para los resultados.

• Prompt: El prompt es el componente clave para construir un esquema en lenguaje natural, que sirve como base para generar las instrucciones de análisis reales. El prompt debe describir claramente los campos que deben ser analizados.

Paso 2 [Opcional]: Ajusta el esquema de análisis

Este paso te permite afinar el esquema de análisis para que se ajuste mejor a tus necesidades o solucionar cualquier problema.

Resumen del esquema de análisis

Esta tabla visualiza la entrada usada por la IA para generar las instrucciones de análisis. El esquema define qué campos deben analizarse y consiste en varios tipos de objetos (explicados en la tabla a continuación).

Cada elemento del esquema debe tener:

• Nombre: Esto se usará como la clave del objeto en las instrucciones de análisis y será visible en los datos analizados.

• Descripción (opcional pero recomendado): Ayuda a mejorar la precisión del análisis.

Ajustes del esquema

• Reordenar elementos: Arrastra y suelta los elementos usando los puntos en el lado izquierdo para cambiar su orden (solo se pueden mover elementos dentro del mismo nivel de anidación).

• Editar elementos: Haz clic en el icono de editar para modificar cualquier campo.

• Eliminar elementos: Puedes eliminar cualquier elemento en el nivel padre.

• Agregar nuevos elementos: Añade nuevos elementos al nivel padre.

Una vez que actualices el esquema, haz clic en el "Actualizar salida" botón para regenerar las instrucciones y previsualizar los datos analizados.

Explicaciones de tipos de objeto

Tipo de objeto	Descripción	Ejemplo de datos analizados
String	Una sola salida de texto	“title”: “Ejemplo de título de producto”
Número	Un solo número	“price”: 9.99
Array de cadenas	Una lista de salidas de texto	“products”: [“producto 1”, “producto 2”, “producto 3”]
Array de números	Una lista de números	“pages”: [1, 2, 3]
Array de objetos	Una lista de objetos/elementos, cada uno con sus propios objetos dentro (_items bloque en las instrucciones de análisis)	“related_items”: [ { “title”: “producto 1”, “price”: 9.99 }, { “title”: “producto 2”, “price”: 15.99 } ]

Trabajando con array de objetos

1. Selecciona "Array de objetos": Esta opción añade un objeto hijo y un botón.

1. Rellena nombres de objetos: Para guardar el elemento en el esquema, debes completar los nombres tanto del objeto padre como del hijo. Una vez hecho, la marca de verificación se volverá verde.

1. Requisito de objeto hijo: Un "Array de objetos" debe tener al menos un hijo.

Probar las instrucciones

Por defecto, los datos analizados se basan en la primera URL proporcionada en Paso 1. También puedes proporcionar una URL diferente para probar las instrucciones de análisis:

Las instrucciones se generan en función de las URL iniciales y no tienen en cuenta las URL de prueba. Editar el prompt o las URL restablecerá el esquema, requiriendo una regeneración completa.

Paso 3: Copiar/Guardar instrucciones e integrar en trabajos de scraping

Una vez que las instrucciones sean satisfactorias:

• Usa el "Copiar" botón para copiar las instrucciones y pegarlas en el código de tu scraper.

• Alternativamente, guarda las instrucciones en tu sesión del Web Scraper API Playground, ajusta otros parámetros de la petición, prueba y luego copia el código de la petición completo en tu lenguaje de programación preferido.

Ejemplo

URL

https://sandbox.oxylabs.io/products/1

Prompt

Quiero analizar una página de producto. Los datos analizados deben incluir los siguientes campos:

- product_title: un campo de texto que contiene el título del producto
- price: un campo numérico que contiene el precio del producto
- related_products: una lista que contiene los títulos de productos relacionados que se muestran debajo de la información principal del producto

Esquema de análisis

Tipo de objeto	Nombre*	Descripción
String	product_title	Título del producto
Número	precio	Precio del producto
Array de cadenas	related_products	Títulos de productos relacionados debajo de la información principal del producto

Instrucciones de análisis

{
    "product_title": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//h2[@class=\"title css-1k75zwy e1pl6npa11\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/h2/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/h2/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    },
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//div[@class=\"price css-o7uf8d e1pl6npa6\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/div[4]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/div[4]/text()"
                ]
            },
            {
                "_fn": "amount_from_string"
            }
        ]
    },
    "related_products": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]/a[1]/h4/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div/a[1]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    }
}

Datos analizados

{
    "price": 91.99,
    "product_title": "The Legend of Zelda: Ocarina of Time",
    "related_products": [
        "The Legend of Zelda: Majora's Mask",
        "Indiana Jones and the Infernal Machine"
    ],
    "parse_status_code": 12000
}

Generando instrucciones de análisis vía API

Si quieres generar muchos conjuntos diferentes de instrucciones de análisis para cubrir la variedad de sitios web con los que trabajas, puedes crear instrucciones de análisis vía una API: consulta API generadora de instrucciones de análisis para ver cómo se hace.

Constructor de instrucciones del navegador

Puedes usar OxyCopilot para crear scripts complejos de interacción con páginas sin analizar la estructura del sitio ni escribir manualmente la configuración para tus Instrucciones del navegador.

Cómo funciona

Paso 1: Proporciona una URL y un prompt

• URL: Proporciona una sola URL para generar instrucciones del navegador. OxyCopilot utiliza el HTML de la URL proporcionada para determinar cómo secuenciar las interacciones con la página web que necesitas.

• Prompt: El prompt es crucial para construir las instrucciones del navegador. Indica claramente qué acciones deseas que se realicen en la página web una vez abierta (p. ej., "Desplazarse hasta el final, esperar a que cargue el botón 'página siguiente', hacer clic en el botón 'página siguiente'").

Paso 2 [Opcional]: Ajusta las instrucciones del navegador

Este paso te permite afinar la secuencia de instrucciones del navegador para que se ajuste mejor a tus necesidades o solucionar cualquier problema.

Resumen de las instrucciones del navegador

Una vez que OxyCopilot termine de procesar tu entrada, mostrará la secuencia de instrucciones del navegador que ha creado.

Puedes ajustar la secuencia editando, añadiendo o eliminando pasos.

Paso 3: Copiar/Guardar instrucciones e integrar en trabajos de scraping

Una vez que las instrucciones sean satisfactorias, puedes guardar las instrucciones en tu sesión del Web Scraper API Playground, ajustar otros parámetros de la petición, probar y luego copiar el código de la petición completo en tu lenguaje de programación preferido.

Agradecemos tus comentarios y sugerencias para mejorar. No dudes en contactarnos en [email protected] o conectar con nuestro soporte en vivo 24/7.