OxyCopilot

使用 OxyCopilot 自动化抓取。学习如何通过简单的自然语言提示生成网页爬虫API 载荷、自定义解析器和浏览器指令。

OxyCopilot 是一个免费的 网页爬虫API 功能，可让上手更轻松，并帮助用户为复杂用例找到有效解决方案，整个过程无需编码知识。OxyCopilot 目前包含三个独立功能：

• 爬虫构建器
• 自定义解析器 构建器
• 浏览器指令构建器

OxyCopilot 可在 网页 网页爬虫API Playground 中访问 在 Oxylabs 控制面板中。

爬虫构建器

OxyCopilot 可帮助你为网页爬虫API 配置爬虫（并构建请求负载），无需理解文档或字段逻辑。

工作原理

第 1 步：提供一个 URL 和提示词

• URL： 提供你要抓取的 URL。
• 提示词： 描述你的需求（例如，本地化、JS 渲染等）。

第 2 步：解析

你有三个选项来处理解析：

1. 自定义解析器：选择“添加解析说明”以创建你自己的解析逻辑，使用 自定义解析器构建器.
2. 专用解析器：如果 URL 来自我们提供专用解析器的网站，并且你想使用它，请选择“继续使用专用解析器”。
3. 不解析：如果不需要结构化数据，请选择继续而不进行解析。

如果 URL 属于我们提供专用解析器的网站，但你不需要结构化数据，请选择“继续使用专用解析器”，并在 Playground 的设置中禁用 parse 参数。不要使用退出按钮，因为它不会保存预填参数。

如果我们没有专用解析器

如果我们有专用解析器

第 3 步：查看请求

根据你的提示词，OxyCopilot 会在网页爬虫API Playground 中预填所需参数。你将看到适用于你的用例的具体请求代码和参数，如有需要可以调整这些参数。

第 4 步：提交请求并复制

如果一切看起来不错，请提交请求以查看输出效果，并检查是否按预期工作。然后，复制请求代码，用于你后续使用网页爬虫API 的抓取任务。

示例

URL

https://www.amazon.de/s?k=adidas

提示

抓取所提供 URL 中的 Amazon 搜索页，并将结果本地化到波兰。

AI 生成的参数（JSON）

{
        "source": "amazon_search",
        "query": "adidas",
        "geo_location": "PL",
        "domain": "de"
}

AI 生成的请求代码

自定义解析器构建器

利用 自定义解析器 OxyCopilot 的该功能构建解析器，无需编写代码或手动分析网站结构。

工作原理

第 1 步：提供 URL 和提示词

• URL： 你最多可以提供 3 个 URL 用于生成解析说明。OxyCopilot 会使用所提供 URL 的 HTML 来确定提取所需字段的最佳逻辑。

你提供的 URL 越多，解析说明就越稳健，因为 OxyCopilot 会识别相似页面中的共同模式。请注意，额外的 URL 可能会增加结果等待时间。

• 提示词： 提示词是构建自然语言 schema 的关键组件，它是生成实际解析说明的基础。提示词应清楚描述需要解析的字段。

第 2 步【可选】：调整解析 schema

此步骤允许你微调解析 schema，以更好地满足需求或排查任何问题。

解析 schema 概览

该表可视化 AI 用于生成解析说明的输入。该 schema 定义了需要解析的字段，并由各种对象类型组成（详见 下表 ）。

schema 中的每个条目都必须具有：

• 名称：这将用作解析说明中的对象键，并会显示在解析数据中。
• 描述 （可选但建议）：有助于提高解析准确率。

schema 调整

• 重新排序条目：使用左侧的点拖放条目以更改顺序（只能移动同一嵌套层级内的条目）。
• 编辑条目：点击编辑图标即可修改任何字段。
• 删除条目：你可以删除父级上的任何条目。
• 添加新条目：添加新的父级条目。

更新 schema 后，点击 “刷新输出” 按钮以重新生成说明并预览解析数据。

对象类型说明

对象类型	描述	解析数据示例
字符串	单个文本输出	“title”: “Example product title”
数字	单个数字	“price”: 9.99
字符串数组	文本输出列表	“products”: [“product 1”, “product 2”, “product 3”]
数字数组	数字列表	“pages”: [1, 2, 3]
对象数组	对象/条目列表，每个对象内部都有自己的对象（_items 解析说明中的区块）	“related_items”: [ { “title”: “product 1”, “price”: 9.99 }, { “title”: “product 2”, “price”: 15.99 } ]

处理对象数组

1. 选择“对象数组”：此选项会添加一个子对象和按钮。

1. 填写对象名称：要将该项保存到 schema 中，必须填写父对象和子对象的名称。完成后，勾选标记会变为绿色。

1. 子对象要求： “对象数组” 至少必须包含一个子项。

测试说明

默认情况下，解析数据基于 第 1 步中提供的第一个 URL。你也可以提供不同的 URL 来测试解析说明：

说明基于初始 URL 生成，不会考虑测试 URL。编辑提示词或 URL 会重置 schema，因此需要完全重新生成。

第 3 步：复制/保存说明并集成到抓取任务中

当说明令人满意后：

• 使用 “复制” 按钮可复制说明并将其粘贴到你的爬虫代码中。
• 或者，将说明保存到你的网页爬虫API Playground 会话中，调整其他请求参数，进行测试，然后以你偏好的编程语言复制完整的请求代码。

示例

URL

https://sandbox.oxylabs.io/products/1

提示

我想解析一个商品页面。解析数据应包含以下字段：

- product_title: 一个包含商品标题的文本字段
- price: 一个包含商品价格的数值字段
- related_products: 一个列表，包含主商品信息下方显示的相关商品标题

解析 schema

对象类型	名称*	描述
字符串	product_title	商品标题
数字	price	商品价格
字符串数组	related_products	主商品信息下方的相关商品标题

解析说明

{
    "product_title": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//h2[@class=\"title css-1k75zwy e1pl6npa11\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/h2/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/h2/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    },
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//div[@class=\"price css-o7uf8d e1pl6npa6\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/div[4]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/div[4]/text()"
                ]
            },
            {
                "_fn": "amount_from_string"
            }
        ]
    },
    "related_products": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]/a[1]/h4/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div/a[1]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    }
}

解析数据

{
    "price": 91.99,
    "product_title": "The Legend of Zelda: Ocarina of Time",
    "related_products": [
        "The Legend of Zelda: Majora's Mask",
        "Indiana Jones and the Infernal Machine"
    ],
    "parse_status_code": 12000
}

通过 API 生成解析说明

如果你想生成大量不同的解析说明集，以覆盖你所处理的各种网站，可以通过 API 生成解析说明——请参见 解析说明生成器 API ，了解其实现方式。

浏览器说明构建器

你可以使用 OxyCopilot 构建复杂的页面交互脚本，而无需分析网站结构或手动编写你的 浏览器说明.

工作原理

第 1 步：提供 URL 和提示词

• URL： 请提供一个单一 URL，以便生成浏览器说明。OxyCopilot 会使用所提供 URL 的 HTML 来确定如何为你需要的网页交互编写脚本。
• 提示词： 提示词对构建浏览器说明至关重要。请清楚说明网页打开后希望执行哪些操作（例如，“滚动到底部，等待‘下一页’按钮加载，然后点击‘下一页’按钮”）。

第 2 步【可选】：调整浏览器说明

此步骤允许你微调浏览器说明序列，以更好地满足需求或排查任何问题。

浏览器说明概览

当 OxyCopilot 完成处理你的输入后，会显示其创建的浏览器说明序列。

你可以通过编辑、添加或删除步骤来微调该序列。

第 3 步：复制/保存说明并集成到抓取任务中

当说明令人满意后，你可以将说明保存到你的网页爬虫API Playground 会话中，调整其他请求参数，进行测试，然后以你偏好的编程语言复制完整的请求代码。

我们欢迎你的反馈和改进建议。请随时通过以下方式联系我们： [e-mail] 或联系我们的 24/7 在线聊天支持。