Gerando instruções de parsing via API

Veja como você pode gerar parsers automaticamente enviando solicitações para a API.

Você pode gerar conjuntos de instruções de parsing via API fornecendo URLs e descrevendo quais pontos de dados você gostaria de extrair. Ao receber as instruções de parsing geradas, você pode salvá-las como um preset de parser ou simplesmente enviar as instruções com sua requisição de scraping.

Você também pode gerar instruções de parsing via OxyCopilot no nosso Web Scraper API Playground.

Gerar instruções a partir de prompt

Você pode gerar instruções de parsing inserindo uma descrição em texto livre dos pontos de dados que deseja extrair e fornecendo algumas URLs que pertençam ao mesmo tipo de página. A API responderá com um conjunto de instruções de parsing.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• Método: POST

• Autenticação: Basic

• Cabeçalhos da requisição: Content-Type: application/json

Payload de exemplo

{ 
  "prompt_text": "Parse title of the product, main price, developer name and platform name.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

Parâmetro	Descrição
prompt_text	Descrição em texto livre dos pontos de dados a serem extraídos.
urls	Lista de URLs exemplificando o tipo de página para o qual você gostaria de obter instruções de parsing. Recomendamos fornecer 3-5 URLs para ajudar o parser a se adaptar a diferentes layouts e melhorar a precisão do parsing.
render	Indica se a renderização de JS deve ou não ser usada para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "Developer name.",
                "title": "Developer Name",
                "type": "string"
            },
            "main_price": {
                "description": "Main price of the product.",
                "title": "Main Price",
                "type": "number"
            },
            "platform_name": {
                "description": "Platform name.",
                "title": "Platform Name",
                "type": "string"
            },
            "title": {
                "description": "Title of the product.",
                "title": "Title",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "Fields",
        "type": "object"
    }
}

Gerar instruções a partir de schema JSON

Existem casos em que você quer obter dados parseados em um schema JSON específico. Você pode usar este endpoint para obter instruções de parsing que aderem estritamente ao schema que você fornece.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• Método: POST

• Autenticação: Basic

• Cabeçalhos da requisição: Content-Type: application/json

Payload de exemplo

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "An array of URL strings",
        "type": "array",
        "items": {
          "type": "string",
          "description": "A URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

Parâmetro	Descrição
prompt_schema	Schema JSON descrevendo a saída do parser requerida.
urls	Lista de URLs exemplificando o tipo de página para o qual você gostaria de obter instruções de parsing.
render	Indica se a renderização de JS deve ou não ser usada para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}