Documentation has been updated: see help center and changelog in one place.

网页爬虫 API Playground

掌握网页爬虫 API Playground 的使用以构建和测试请求。原型化抓取器,使用 OxyCopilot 进行 AI 解析,并导出代码片段。

Web Scraper API Playground 是 Oxylabs 控制面板中可用的交互式工具。它允许您在简化的环境中构建并测试 Web Scraper API 请求。

使用 Web Scraper API Playground,您可以试用不同的目标、调整请求参数、预览结果并导出可直接使用的代码片段。它为初学者和高级用户设计,适用于快速原型开发和验证请求设置。

它还集成了 OxyCopilot,这是一个由 AI 驱动的助手,帮助从自然语言提示生成解析规则、创建解析器预设、构建爬虫并生成浏览器指令。

主要功能

Web Scraper API Playground 是用于实验 Web Scraper API 请求的主要环境。其主要功能包括:

  • 交互式请求构建器 – 选择一个来源(Universal、Amazon、Google、YouTube 等),输入 URL 或查询,并直接从控制面板运行请求。

  • 参数自定义 – 调整诸如 JavaScript 渲染、地理位置、区域设置、解析、User-Agent 类型等选项。

  • 结果预览 – 以原始 HTML 或解析后的 JSON 查看响应,以确认请求输出。

  • 导出选项 – 复制生成的代码片段(cURL、Python 等)或请求有效负载以供后续使用。

  • OxyCopilot 集成 – 使用内置助手通过自然语言自动创建爬虫请求有效负载、解析逻辑、可重用的解析器预设或浏览器指令。

在抓取时,Web Scraper API Playground 用于 测试和探索。对于大规模或自动化工作流,请使用标准的 Web Scraper API 集成方法(Realtime, Push-Pull,或 Proxy Endpoint).

如何使用

使用 Web Scraper API Playground 非常简单。请按以下步骤操作:

1

访问 Web Scraper API Playground

登录到 Oxylabs 仪表板 并打开 Web Scraper API Playground。

2

选择来源

选择专用来源——特定网站(例如 Google、Amazon、YouTube 等)和爬虫来源(例如 URL、 amazon_product, google_search)或对于下拉菜单中未列出的网站选择“--Any other website--”。

3

输入查询或 URL

提供您想要抓取的搜索查询或页面 URL。

4

添加额外参数(可选)

为您的使用场景调整渲染、解析、本地化或其他选项。

5

运行请求

提交您的请求并即时预览返回的数据。

6

导出

如果您对结果满意,可复制以您偏好的编程语言生成的代码片段或请求有效负载,并在脚本或应用中使用。您还可以使用右上角下拉菜单导出 JSON 或 HTML 结果。

访问与试用

Web Scraper API Playground 对所有具有 Web Scraper API 访问权限的 Oxylabs 控制面板用户开放。

  • 试用用户 可以使用 免费试用.

  • 付费用户 可以将 Web Scraper API Playground 与其常规 API 集成一同使用,作为测试和原型环境。

最后更新于

这有帮助吗?