Gerando instruções de análise via API

Veja como você pode gerar parsers automaticamente enviando requisições para a API.

Você pode gerar conjuntos de instruções de parsing via API fornecendo URLs e descrevendo quais pontos de dados você gostaria de fazer parsing. Ao receber as instruções de parsing geradas, você pode salvá-las como um preset do parser ou simplesmente enviar as instruções com sua solicitação de scraping.

Você também pode gerar instruções de parsing via OxyCopilot no nosso Playground da Web Scraper API.

Gerar instruções a partir do prompt

Você pode gerar instruções de parsing inserindo uma descrição em texto livre dos pontos de dados que você gostaria de fazer parsing e nos fornecendo algumas URLs que pertencem ao mesmo tipo de página. A API responderá com um conjunto de instruções de parsing.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt
• Método: POST
• Autenticação: Basic
• Cabeçalhos da solicitação: Content-Type: application/json

Exemplo de payload

{ 
  "prompt_text": "Analise o título do produto, o preço principal, o nome do desenvolvedor e o nome da plataforma.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

Parâmetro	Descrição
prompt_text	Descrição em texto livre dos pontos de dados a serem analisados.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing. A API aceita até 5 URLs. Recomendamos fornecer 3 a 5 URLs para ajudar o parser a se adaptar a diferentes layouts e melhorar a precisão do parsing.
render	Se a renderização de JS deve ser usada ou não para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[contains(@class, 'brand developer')]"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "platform_name": {
            "_fns": [
                {
                    "_args": [
                        "//span[contains(@class, 'game-platforms-wrapper')]",
                        "//div[contains(@class, 'brand-wrapper')]//span[contains(@class, 'game-platforms-wrapper')]"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()",
                        "//div[contains(@class, 'product-info-wrapper')]//h2[contains(@class, 'title')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "Nome do desenvolvedor.",
                "title": "Nome do desenvolvedor",
                "type": "string"
            },
            "main_price": {
                "description": "Preço principal do produto.",
                "title": "Preço principal",
                "type": "number"
            },
            "platform_name": {
                "description": "Nome da plataforma.",
                "title": "Nome da plataforma",
                "type": "string"
            },
            "title": {
                "description": "Título do produto.",
                "title": "Título",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "Campos",
        "type": "object"
    }
}

Gerar instruções a partir de um esquema JSON

Há casos em que você quer obter dados analisados em um esquema JSON específico. Você pode usar este endpoint para obter instruções de parsing que sigam estritamente o esquema fornecido.

• Endpoint: https://data.oxylabs.io/v1/parsers/generate-instructions/schema
• Método: POST
• Autenticação: Basic
• Cabeçalhos da solicitação: Content-Type: application/json

Exemplo de payload

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "type": "object",
    "properties": {
      "links": {
        "description": "Um array de strings de URL",
        "type": "array",
        "items": {
          "type": "string",
          "description": "Uma URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

Parâmetro	Descrição
prompt_schema	esquema JSON que descreve a saída necessária do parser.
urls	Lista de URLs que exemplificam o tipo de página para o qual você gostaria de obter instruções de parsing. A API aceita até 5 URLs.
render	Se a renderização de JS deve ser usada ou não para buscar o conteúdo necessário.

- parâmetro obrigatório

Resposta de exemplo

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}