解析器预设

了解解析器预设如何工作以及如何在抓取作业中使用它们。

您可以 保存, 重用,和 修改 通过 网页爬虫 API 自定义解析指令。一旦您创建了解析器预设,我们会将其托管在我们的系统中,允许您在爬取任务的载荷中通过 parser_preset 参数引用它。

此功能提供若干 主要功能:

  • 在我们的系统上保存并管理您自己的解析器

  • 在多个爬取任务中轻松重用预设

  • 创建、检索、更新、删除并列出所有预设

  • 访问预设的性能和使用统计数据

  • 使用自愈预设适应变化的网站

API 参考

并使用下面的 https://data.oxylabs.io/v1/parsers/presets

下表列出每个可用操作及其端点路径:

操作
请求方法
路径

7. 最后,按下 一个预设

POST

/v1/parsers/presets

检索 一个预设

GET

/v1/parsers/presets/{preset_name}

更新 一个预设

PUT

/v1/parsers/presets/{preset_name}

删除 一个预设

DELETE

/v1/parsers/presets/{preset_name}

列出所有 预设

GET

/v1/parsers/presets

查看使用情况性能 统计数据

GET

/v1/parsers/presets/{preset_name}/stats

跟踪自愈 更改

GET

/v1/parsers/presets/{parser_name}/changelog

启用自愈

解析器预设配备了自愈功能,可在网站发生变化时帮助维护解析器及其成功率。启用后,解析器预设 会自动修复自身 并在后台调整解析指令,无需额外的手动操作。

为您的自定义解析器预设启用自愈 在创建或更新预设时包含以下必需参数:

参数
说明

self_heal

当设置为时会开启自愈功能 True.

prompt_schema

描述所需解析器输出的 JSON 模式。您可以在 使用 API 生成解析器时自动创建该模式.

urls

最多包含 5 个相同页面类型的 URL 列表。我们建议提供 3-5 个 URL,以帮助解析器适应不同布局并提高解析准确性。

载荷示例

此处示例载荷通过更新现有预设来启用自愈。

并使用下面的 PUT https://data.oxylabs.io/v1/parsers/presets/{preset_name}

使用示例

创建预设

并使用下面的 文档以查找可用操作列表和完整代码示例。

载荷:

输出

使用预设

并使用下面的 POST https://realtime.oxylabs.io/v1/queries

载荷:

输出

检索预设

并使用下面的 GET https://data.oxylabs.io/v1/parsers/presets/{preset_name}

输出

更新预设

并使用下面的 PUT https://data.oxylabs.io/v1/parsers/presets/{preset_name}

定义要更新的预设字段。在下例中,只有 parsing_instructions 将被更新。

载荷:

输出

删除预设

并使用下面的 DELETE https://data.oxylabs.io/v1/parsers/presets/{preset_name}

列出所有预设

并使用下面的 GET https://data.oxylabs.io/v1/parsers/presets

输出

查看统计

并使用下面的 GET https://data.oxylabs.io/v1/parsers/presets/{preset_name}/stats

输出

您可以 按日期和时间过滤结果 通过以下 date_from 和/或 date_to URL 参数。使用格式 YYYY-MM-DDTHH,其中 T 表示时间,且 HH 为 24 小时制的小时。

例如,要获取 2025 年 8 月 5 日上午 9 点到下午 2 点的统计数据:

跟踪自愈更改

并使用下面的 GET https://data.oxylabs.io/v1/parsers/presets/{preset_name}/changelog

我们的系统会自动记录自愈活动。您可以访问此历史日志以查看自愈功能所做的所有修改。

最后更新于

这有帮助吗?