通过 API 生成解析指令

查看如何通过向 API 发送请求自动生成解析器。

您可以通过提供 URL 并描述要解析的数据点，通过 API 生成解析指令集。收到生成的解析指令后，您可以将它们保存为 解析器预设 或简单地随您的爬取请求一起发送这些指令。

您也可以通过 OxyCopilot 在我们的 Web Scraper API Playground 上生成解析指令。

从提示生成指令

您可以通过输入对要解析的数据点的自由文本描述并提供一些属于相同页面类型的 URL 来生成解析指令。API 将返回一组解析指令。

• 端点: https://data.oxylabs.io/v1/parsers/generate-instructions/prompt

• 方法: POST

• 身份验证: 基础

• 请求头: Content-Type: application/json

示例有效负载

{ 
  "prompt_text": "解析产品标题、主要价格、开发者名称和平台名称.",
  "urls": [
    "https://sandbox.oxylabs.io/products/1",
    "https://sandbox.oxylabs.io/products/2",
    "https://sandbox.oxylabs.io/products/4"
  ],
  "render": false
}

参数	说明
prompt_text	对要解析的数据点的自由文本描述。
urls	示例化您希望获取解析指令的页面类型的 URL 列表。我们建议提供 3–5 个 URL 以帮助解析器适应不同布局并提高解析准确性。
render	是否应使用 JS 渲染来获取所需内容。

- 强制参数

示例响应

{
    "parsing_instructions": {
        "developer_name": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'brand-wrapper')]//span[@class='brand developer']"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": [
                        "normalize-space(.)"
                    ],
                    "_fn": "xpath"
                },
                {
                    "_args": " ",
                    "_fn": "join"
                }
            ]
        },
        "main_price": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//div[contains(@class, 'price')]/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_fn": "amount_from_string"
                }
            ]
        },
        "title": {
            "_fns": [
                {
                    "_args": [
                        "//div[contains(@class, 'product-info-wrapper')]//h2/text()"
                    ],
                    "_fn": "xpath_one"
                },
                {
                    "_args": [
                        "^\\s*(.[\\s\\S]*?)\\s*$",
                        1
                    ],
                    "_fn": "regex_search"
                }
            ]
        }
    },
    "prompt_schema": {
        "properties": {
            "developer_name": {
                "description": "开发者名称.",
                "title": "开发者名称",
                "type": "string"
            },
            "main_price": {
                "description": "产品的主要价格.",
                "title": "主要价格",
                "type": "number"
            },
            "platform_name": {
                "description": "平台名称.",
                "title": "平台名称",
                "type": "string"
            },
            "title": {
                "description": "产品的标题.",
                "title": "标题",
                "type": "string"
            }
        },
        "required": [
            "title",
            "main_price",
            "developer_name",
            "platform_name"
        ],
        "title": "字段",
        "type": "object"
    }
}

从 JSON schema 生成指令

在某些情况下，您希望以特定的 JSON schema 获取解析数据。您可以使用此端点获取严格遵循您提供的 schema 的解析指令。

• 端点: https://data.oxylabs.io/v1/parsers/generate-instructions/schema

• 方法: POST

• 身份验证: 基础

• 请求头: Content-Type: application/json

示例有效负载

{
  "urls": [
    "https://oxylabs.io",
    "https://example.com",
    "https://bbc.co.uk"
  ],
  "prompt_schema": {
    "properties": {
      "links": {
        "description": "一个 URL 字符串数组",
        "type": "array",
        "items": {
          "type": "string",
          "description": "一个 URL"
        }
      }
    },
    "required": [
      "links"
    ]
  },
  "render": false
}

参数	说明
prompt_schema	JSON schema 描述所需解析器输出的 JSON schema。
urls	示例化您希望获取解析指令的页面类型的 URL 列表。
render	是否应使用 JS 渲染来获取所需内容。

- 强制参数

示例响应

{
    "parsing_instructions": {
            "links": {
                "_fns": [
                    {
                        "_args": [
                            "//a[@href and normalize-space(@href) != '']/@href"
                        ],
                        "_fn": "xpath"
                    }
                ]
            }
        }
}