Gerando instruções de parsing via API

Veja como você pode gerar parsers automaticamente enviando requisições para a API.

Você pode gerar conjuntos de instruções de parsing via API fornecendo URLs e descrevendo quais pontos de dados você gostaria de extrair. Ao receber as instruções de parsing geradas, você pode salvá-las como um preset de parser ou simplesmente enviar as instruções junto com sua solicitação de scraping.

Você também pode gerar instruções de parsing via OxyCopilot no nosso Web Scraper API Playground.

Gerar instruções a partir do prompt

Você pode gerar instruções de parsing inserindo uma descrição em texto livre dos pontos de dados que gostaria de extrair e fornecendo algumas URLs que pertençam ao mesmo tipo de página. A API responderá com um conjunto de instruções de parsing.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• Método: POST

• Autenticação: Básico

• Cabeçalhos da requisição: Content-Type: application/json

Exemplo de payload

{ 
  "prompt_text": "Parse title of the product, main price, developer name and platform name.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

Parâmetro	Descrição
prompt_text	Descrição em texto livre dos pontos de dados a serem extraídos.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing. Recomendamos fornecer 3-5 URLs para ajudar o parser a se adaptar a diferentes layouts e melhorar a precisão do parsing.
render	Se a renderização de JS deve ou não ser usada para buscar o conteúdo requerido.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "Developer name.",
                "title": "Developer Name",
                "type": "string"
            },
            "main_price": {
                "description": "Main price of the product.",
                "title": "Main Price",
                "type": "number"
            },
            "platform_name": {
                "description": "Platform name.",
                "title": "Platform Name",
                "type": "string"
            },
            "title": {
                "description": "Title of the product.",
                "title": "Title",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "Fields",
        "type": "object"
    }
}

Gerar instruções a partir de um schema JSON

Existem casos em que você deseja obter dados extraídos em um schema JSON específico. Você pode usar este endpoint para obter instruções de parsing que adiram estritamente ao schema que você fornecer.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• Método: POST

• Autenticação: Básico

• Cabeçalhos da requisição: Content-Type: application/json

Exemplo de payload

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "An array of URL strings",
        "type": "array",
        "items": {
          "type": "string",
          "description": "A URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

Parâmetro	Descrição
prompt_schema	JSON schema descrevendo o output requerido do parser.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing.
render	Se a renderização de JS deve ou não ser usada para buscar o conteúdo requerido.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}