Gerando instruções de parsing via API

Veja como você pode gerar parsers automaticamente enviando solicitações para a API.

Você pode gerar conjuntos de instruções de parsing via API fornecendo URLs e descrevendo quais pontos de dados você gostaria de fazer parse. Ao receber as instruções de parsing geradas, você pode salvá-las como um preset do parser ou simplesmente enviar as instruções com sua solicitação de scraping.

Você também pode gerar instruções de parsing via OxyCopilot em nosso Playground do Web Scraper API.

Gerar instruções a partir de prompt

Você pode gerar instruções de parsing inserindo uma descrição em texto livre dos pontos de dados que você gostaria de fazer parse e nos fornecendo algumas URLs que pertençam ao mesmo tipo de página. A API responderá com um conjunto de instruções de parsing.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• Método: POST

• Autenticação: Básico

• Cabeçalhos da solicitação: Content-Type: application/json

Payload de exemplo

{ 
  "prompt_text": "Faça o parse do título do produto, preço principal, nome do desenvolvedor e nome da plataforma.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

Parâmetro	Descrição
prompt_text	Descrição em texto livre dos pontos de dados a serem extraídos.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing. Recomendamos fornecer de 3 a 5 URLs para ajudar o parser a se adaptar a diferentes layouts e melhorar a precisão do parsing.
render	Se a renderização de JS deve ou não ser usada para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "Nome do desenvolvedor.",
                "title": "Nome do Desenvolvedor",
                "type": "string"
            },
            "main_price": {
                "description": "Preço principal do produto.",
                "title": "Preço Principal",
                "type": "number"
            },
            "platform_name": {
                "description": "Nome da plataforma.",
                "title": "Nome da Plataforma",
                "type": "string"
            },
            "title": {
                "description": "Título do produto.",
                "title": "Título",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "Campos",
        "type": "object"
    }
}

Gerar instruções a partir de schema JSON

Há casos em que você quer obter dados extraídos em um schema JSON específico. Você pode usar este endpoint para obter instruções de parsing que sigam estritamente o schema que você fornecer.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• Método: POST

• Autenticação: Básico

• Cabeçalhos da solicitação: Content-Type: application/json

Payload de exemplo

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "Um array de strings de URL",
        "type": "array",
        "items": {
          "type": "string",
          "description": "Uma URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

Parâmetro	Descrição
prompt_schema	schema JSON descrevendo a saída necessária do parser.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing.
render	Se a renderização de JS deve ou não ser usada para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}