通过 API 生成解析指令

查看如何通过向 API 发送请求自动生成解析器。

您可以通过提供 URL 并描述您想要解析的数据点，通过 API 生成解析指令集。收到生成的解析指令后，您可以将它们保存为一个 解析器预设 或只需将指令与您的抓取请求一起发送。

您也可以通过 OxyCopilot 在我们的 Web Scraper API Playground 上生成解析指令。

从提示生成指令

您可以通过输入对要解析的数据点的自由文本描述并提供一些属于相同页面类型的 URL 来生成解析指令。API 会返回一组解析指令。

• 端点: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• 方法: POST

• 认证: Basic

• 请求头: Content-Type: application/json

示例负载

{ 
  "prompt_text": "解析产品标题、主价格、开发者名称和平台名称。",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

参数	描述
prompt_text	对要解析的数据点的自由文本描述。
urls	示例化您希望获取解析指令的页面类型的 URL 列表。我们建议提供 3-5 个 URL，以帮助解析器适应不同布局并提高解析准确性。
render	是否应使用 JS 渲染来获取所需内容。

- 必填参数

示例响应

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "开发者名称。",
                "title": "开发者名称",
                "type": "string"
            },
            "main_price": {
                "description": "产品的主价格。",
                "title": "主价格",
                "type": "number"
            },
            "platform_name": {
                "description": "平台名称。",
                "title": "平台名称",
                "type": "string"
            },
            "title": {
                "description": "产品标题。",
                "title": "标题",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "字段",
        "type": "object"
    }
}

从 JSON schema 生成指令

在某些情况下，您希望以特定的 JSON schema 获取解析数据。您可以使用此端点来获得严格遵循您提供的 schema 的解析指令。

• 端点: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• 方法: POST

• 认证: Basic

• 请求头: Content-Type: application/json

示例负载

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "一个 URL 字符串数组",
        "type": "array",
        "items": {
          "type": "string",
          "description": "一个 URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

参数	描述
prompt_schema	JSON schema 描述所需解析器输出的 schema。
urls	示例化您希望获取解析指令的页面类型的 URL 列表。
render	是否应使用 JS 渲染来获取所需内容。

- 必填参数

示例响应

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}