Generación de instrucciones de parsing vía API

Mira cómo puedes generar parsers automáticamente enviando solicitudes a la API.

Puede generar conjuntos de instrucciones de análisis mediante la API proporcionando URLs y describiendo qué puntos de datos desea extraer. Al recibir las instrucciones generadas, puede guardarlas como un parser preset o simplemente enviar las instrucciones con su solicitud de scraping.

También puede generar instrucciones de análisis vía OxyCopilot en nuestro Web Scraper API Playground.

Generar instrucciones desde prompt

Puede generar instrucciones de análisis ingresando una descripción en texto libre de los puntos de datos que desea extraer y proporcionando algunas URLs que pertenezcan al mismo tipo de página. La API responderá con un conjunto de instrucciones de análisis.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• Método: POST

• sección de Autenticación: Básico

• Encabezados de la solicitud: Content-Type: application/json

Carga de ejemplo

{ 
  "prompt_text": "Analizar el título del producto, el precio principal, el nombre del desarrollador y el nombre de la plataforma.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

Parámetro	Descripción
prompt_text	Descripción en texto libre de los puntos de datos a analizar.
urls	Lista de URLs que ejemplifican el tipo de página para la que desea obtener instrucciones de análisis. Recomendamos proporcionar 3-5 URLs para ayudar al parser a adaptarse a diferentes diseños y mejorar la precisión del análisis.
user_agent_type	Indica si se debe usar o no el renderizado de JS para obtener el contenido requerido.

- parámetro obligatorio

Respuesta de ejemplo

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "Nombre del desarrollador.",
                "title": "Developer Name",
                "type": "string"
            },
            "main_price": {
                "description": "Precio principal del producto.",
                "title": "Main Price",
                "type": "number"
            },
            "platform_name": {
                "description": "Nombre de la plataforma.",
                "title": "Platform Name",
                "type": "string"
            },
            "title": {
                "description": "Título del producto.",
                "title": "Title",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "Fields",
        "type": "object"
    }
}

Generar instrucciones desde esquema JSON

Hay casos en los que desea obtener datos parseados en un esquema JSON específico. Puede usar este endpoint para obtener instrucciones de análisis que se adhieran estrictamente al esquema que proporcione.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• Método: POST

• sección de Autenticación: Básico

• Encabezados de la solicitud: Content-Type: application/json

Carga de ejemplo

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "Un arreglo de cadenas de URL",
        "type": "array",
        "items": {
          "type": "string",
          "description": "Una URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

Parámetro	Descripción
prompt_schema	Esquema JSON que describe la salida requerida del parser.
urls	Lista de URLs que ejemplifican el tipo de página para la que desea obtener instrucciones de análisis.
user_agent_type	Indica si se debe usar o no el renderizado de JS para obtener el contenido requerido.

- parámetro obligatorio

Respuesta de ejemplo

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}