For the complete documentation index, see llms.txt. This page is also available as Markdown.

更新日志

跟踪最新的 Oxylabs 产品更新、功能发布和改进。随时了解我们的工具和文档的新内容。

独享ISP代理新增 ASN

独享ISP代理 现已包含一个新的 ASN:IIJ(Internet Initiative Japan)。您可在购买或配置代理时于控制面板中选择它。

新增代理位置

多个自助代理产品现已新增位置:

更新 ChatGPT 输出的图像字段

由于 ChatGPT 源的布局变更, ads.advertiser_info 对象不再返回 image_url。该字段已替换为 image_data,其中包含以 base64 编码字节表示的广告主图像。

如果您的解析器读取 ads.advertiser_info.image_url,请更新为使用 ads.advertiser_info.image_data。无需更改请求参数。

适用于 Web API 的远程 MCP 服务器

Web API 现支持 远程 MCP 服务器,以及自托管 MCP Server 和 REST API。要连接,请添加 oxylabs-web-api-mcp 至您的 MCP 客户端配置,并使用您的 Web API 凭据进行身份验证。

兼容的 AI 智能体和 MCP 客户端可通过单一连接使用 Search 和 Scrape 端点,无需本地部署或服务器维护。

Gemini 新增解析输出字段

Gemini 解析输出现在包含 additional_results.sources_results ——Gemini 在生成答案时作为来源访问过的所有网页列表。向 Web API 的 /gemini 端点发送请求,并使用 json 输出(解析后),每个条目都会返回一个 标题 和一个 URL.

扩展媒体数据采集:TikTok 和 Bilibili

Web API 现在在 媒体源: tiktok 和 bilibili下支持两个新目标,可通过一个 API 收集视频和音频——更轻松地从一个提供商大规模获取媒体数据。

文件将传送至您的云存储(S3 或 GCS),而非 API 响应中。这些目标使用与其他媒体目标相同的工作流,并接受支持的 URL 格式,无需预先清理。

ChatGPT 购物的细粒度解析结果

解析后的 ChatGPT Web API 响应现在会在 ChatGPT 显示购物结果时包含完整的产品详情面板。

除现有字段外,每个产品现在还包含: 描述, 徽章, 网址, 商家, offers[], citations[], image_page_title,以及 image_page_url。新字段会自动返回,无需附加组件或额外参数。

Agent Browser 现已开放自助服务

Agent Browser 现已开放自助服务。您可以直接从控制面板购买并启动,无需单独签订合同。

您还可以在会话运行期间查看其活动,重放已完成的会话以审查浏览器执行的每一步,并保存浏览器配置文件以供后续运行复用。

支持自动回退的 Geohash 定位

住宅代理 现支持通过 geohash进行精确位置定位。向用户名添加 1 至 4 个字符的代码,即可覆盖约 39 × 20 公里的范围,无需依赖城市或地区名称。

或者, geohash_fallback 会每次移除一个字符以扩大搜索区域,直到找到 IP。若请求区域内没有可用 IP,请求将返回 502.

全新采用积分计费的 Oxylabs 控制面板

全新的 Oxylabs 控制面板以基于积分的计费方式取代产品专属订阅。现在一个订阅即可覆盖所有 Oxylabs 产品,使用费用从同一个共享余额中扣除。

  • 使用情况报告 ——实时查看所有产品的支出和使用情况,按实例、目标和国家/地区筛选,并导出报告。

  • 实例限额 ——为每个产品实例设置基于用量和金额的限额。

  • 充值 ——从控制面板向共享余额添加资金。

  • 免费积分 ——新用户可获得 5 美元欢迎积分 ,可用于任何可用产品。未使用的免费积分仅可结转至首个付费计费周期。

拥有有效订阅的现有用户将分阶段迁移,并会在其账户迁移前收到通知。了解如何 浏览新版控制面板.

推出 Oxylabs Web API

Web API 现已上线!通过一个 API 搜索网页并提取您找到的内容。两个端点共享一个 API 密钥和基于积分的计费方式。

  • /search 以结构化 JSON 格式返回经过排序、位置准确的结果(标题、描述、URL)。

  • /scrape 通过内置 AI 解析,以 Markdown、HTML、截图或结构化 JSON 格式返回页面内容。

您可以通过 MCP 或 Agent Skills将 Web API 连接到 AI 智能体,无需任何自定义集成。现有客户默认可访问,新用户可获得 5 美元欢迎积分。前往 文档 查看设置说明并试用两个端点。

适用于住宅代理的 MASQUE 协议

住宅代理 现支持 MASQUE,可通过代理建立现代 QUIC 和 HTTP3 连接。这提供了更灵活的数据传输,支持在复杂目标上实现稳定性能和更高的成功率。

Google Travel:酒店的细粒度解析结果

google_travel_hotels 源 现在会在 parse 设为 true时返回更详细的 offers 字段,每个解析响应中都包含额外的酒店优惠详情。

增强 Google 搜索新闻解析

来自 google_search 源 的解析输出现在通过使用 "parse": true ,为使用 tbm=nws 参数的搜索中出现的附加新闻组件返回更详细的数据。

提高无头浏览器的会话一致性

无头浏览器 会话已得到改进,在访问目标网站时可保持更高的一致性,而不会在请求之间重新生成。

Google Books 专用解析器

专用的 Google Books 解析器 现可通过 google_search 源 使用 tbm=bks 参数并将 parse 设为 true ,以 JSON 格式获取结构化图书数据。

YouTube Downloader 音频参数

YouTube Downloader 现在接受可选的 audio_language 参数,用于选择音轨:

  • original ——创作者的原始音轨

  • default ——YouTube 选择的音轨(可能是配音)。

新增代理位置

多个自助代理产品现已新增位置:

提高 Google AI Mode 的提示词限制

以下来源请求的最大提示词长度: Google AI Mode 已提高 从 4,000 个字符提升至 8,000 个字符.

适用于 LLM 源的自定义浏览器指令

LLM 源 现支持 自定义浏览器指令,允许您定义操作(例如点击、滚动、等待)以在提取内容前控制页面行为。

适用于 Home Depot 数据的自定义解析器

一个 专用解析器 现可通过 universal 抓取源用于 Home Depot 产品页面。。在请求中启用解析,以获取结构化产品数据(例如 标题, 价格, 库存状态,以及 规格),而非原始 HTML。

结构化 Google Scholar 结果

Google Scholar 现已成为网页爬虫API中的专用解析源。将 source 设置为 google_scholar 和 parse 为 true 即可直接获取解析后的 JSON。

提高难以访问目标的成功率

我们已改进在使用 CAPTCHA 的网站上处理请求的方式。这些目标的成功率应会提高,尤其是对于此前失败率或重试率较高的任务。请在我们的 文档.

更准确的 Walmart 电商定价

来自 Walmart 电商源 的解析输出现在返回定价数据 更加可靠且一致。如果您正在跟踪竞争对手价格或监测产品目录,使用新请求时将自动获得更清晰的数据。 "parse": true.

改进指纹验证和设备内存一致性

无头浏览器 现在提供更真实的浏览器指纹,并持续使设备内存值与模拟指纹的其余部分保持一致,从而降低所有用户的检测风险。此变更将自动应用于所有无头浏览器会话。

Oxylabs Agent Skills

Oxylabs 现提供官方 Agent Skills ——结构化技能文件,可指导 AI 智能体和编程助手使用 Oxylabs 产品,以显著提高代码准确性并减少幻觉。

每项 Oxylabs 智能体技能均针对特定产品,Claude、Cursor 或 GitHub Copilot 等工具可利用最新信息选择正确的产品并处理所有技术细节。

在官方 Oxylabs Agent-Skills 仓库中查找设置说明和所有技能文件。

ChatGPT 网页搜索的引文重试

ChatGPT 源 使用 search 设为 true 的请求现在会自动重试提取引文,使解析结果中 citations 字段的引文覆盖率大致翻倍。

整体请求成功率不变,对于已使用 search: true.

LLM 目标的批量请求

LLM 源 现支持 最多 5,000 个提示词 可在针对 chatgpt, gemini,以及 perplexity 源的单个批量请求中处理。每个提示词都会作为独立任务运行,因此每个提示词将返回一个任务 ID。详细了解批量请求 此处.

控制面板登录:Microsoft Entra SSO

Oxylabs 控制面板登录现支持 Microsoft Entra ID (原 Azure AD),除 Google 和 Okta 外还支持单点登录(SSO)。

要设置 Entra SSO,请联系您的 Oxylabs 客户经理,并对组织中的用户进行身份验证,使其通过 Entra ID 而非电子邮件和密码登录。前往 控制面板登录页面 开始操作。

网页爬虫API新增和更新 LLM 源

网页爬虫API LLM 和 AI 源 现提供专用 gemini 源以及更新后的 chatgpt 和 perplexity 爬虫。所有 LLM 源现在共享更一致的请求结构、精简的输出封装,并包含新的响应字段(引文、购物、广告等)。

视频数据API的部分下载(截取)

YouTube Downloader 现在可以通过添加 start_at 和 end_at 至 context 数组,下载视频的特定片段而非完整文件。这两个参数均采用 hh:mm:ss 时间戳格式。

视频数据API:视频质量选择

YouTube Downloader 现支持通过 context: video_quality 参数为下载的视频选择分辨率,范围从 144p 一直到 8K.

视频数据API的错误代码

网页爬虫API youtube_download 源现在会在任务状态响应中返回特定 错误代码 ,以便在视频无法下载时更轻松地排查问题。

充值流程改进

适用于 住宅代理, 移动代理, 数据中心代理(按 GB 计费), 网页解锁器,以及 网页爬虫API 的充值不再局限于固定数额。现在您可在套餐允许的范围内输入任意金额,而非从预设列表中选择。

Oxylabs 控制面板 API

控制面板 API 允许用户以编程方式访问 Oxylabs 的产品使用统计数据,包括 数据中心代理(DC) 和 无头浏览器(HB) ,以实现自动化报告和实时用量监控,无需直接使用 Oxylabs 控制面板。

HTTP/3 协议支持

HTTP/3 协议现已受到 住宅 和 移动代理支持。可通过专用 SOCKS5 端点发送请求,并使用 UDP 支持进行访问。

会话 IP 更换控制

住宅代理 和 移动代理 现通过 sessid_oneip支持新的粘性会话模型,可让您在原始出口节点可用期间保持相同 IP,最长可达设定的会话时长,而不会在会话到期后分配新 IP。

新增代理位置

多个自助代理产品现已新增位置:

无头浏览器的城市和州级定位

您现在可将您的 无头浏览器 会话的地理位置设置至城市或州级。新增参数包括 p_city 用于城市,以及 p_state 用于州或地区定位。

改进代理升级流程

您现在可升级 独享 ISP, ISP, 数据中心(按 IP 计费),以及 独享数据中心代理 套餐,针对 0 至 100 之间的范围,最低仅需 5 个 IP(此前最低要求为 20 个 IP)。

升级摘要现在也提供了更多细节,包括折扣明细和准确的账单日期,便于更轻松地扩容。

Google Domain 参数不再可用

网页爬虫API 域 参数适用于 Google 数据源不再可用。要对搜索进行本地化,请使用 geo_location 参数。更多详情,请查看我们的 geo_location 参数结构 此处.

重命名解锁浏览器

我们正在对产品命名进行调整: 解锁浏览器现已更名为 无头浏览器. 这只是名称变更,所有核心功能、特性和集成都将保持不变,符合现有工作流。

新的 ASN 提供商

来自 Cox 和 Deutsche Telekom 的 IP 现已包含在 ISP代理 和 独享ISP代理 池中。独享ISP代理用户可以直接在 Oxylabs 仪表板中选择首选的高级 ASN 提供商。

独享ISP代理

独享ISP代理 现已可在自助服务仪表板中使用。此新代理类型提供完全独享、来自高级 ISP 提供商的静态 IP,并可自由选择首选 ASN。独享ISP代理提供一流速度、稳定连接、最高可定制性和不限时长会话。

住宅代理的高级筛选器

住宅代理支持 两个高级筛选器 可为您提供更多控制:

  • 平台(OS) – pl 用于为 TCP 连接选择住宅代理的操作系统(例如 Windows、iOS)的参数。这可通过匹配 HTTP 和 TCP 指纹来提高抓取成功率。

  • IP 版本 ——您可以使用以下 ipversion-4 或 ipversion-6 参数的搜索中出现的附加新闻组件返回更详细的数据。

结果聚合器

网页爬虫API 用户现在可以使用结果聚合器将多个抓取结果打包为大型批处理文件,以简化存储 结果聚合器。通过以下方式创建自定义聚合器: /v1/aggregators 端点,并通过添加 aggregate_name 参数将任务路由到它。

解锁浏览器会话检查

解锁浏览器现已通过基于 VNC 的 会话检查工具。添加 o_vnc=true 到你的连接端点(例如 wss://user:pass@ubc.oxylabs.io?o_vnc=true)即可打开无头浏览器的实时图形界面并直接与之交互。

新的数据中心代理位置

五个新的 数据中心代理位置 现已面向按流量(按 GB)计费用户开放: 拉脱维亚, 斯洛文尼亚, 斯洛伐克, 希腊,以及 奥地利。请求现在可以通过这些国家路由,以优化覆盖范围和性能。

YouTube 自动补全抓取来源

网页爬虫API 现已可以 检索 YouTube 搜索词建议 ,借助新的 youtube_autocomplete 来源。它可让用户发现任意搜索查询的相关关键词,随后可与 youtube_search 来源配合使用,以发现更相关的视频。

更新的 Google Shopping 来源

Google Shopping 来源 现在使用基于令牌的系统,取代了 product_id 工作流。 google_shopping_search (启用 render 后)现在会提供一个 令牌 ,这是 google_shopping_product 请求所需的。

此外, google_shopping_pricing 不再作为独立来源受支持。要提取 定价 数据,请使用 google_shopping_product 源.

最后, google_shopping_product 现在可以通过提交带有 render: 'html' 的任务来展开“More Shops”面板,以访问更多商品列表(仅支持首次展开)。

自我修复解析器预设

用户现在可以为其 解析器预设 启用自我修复,只需在预设配置中设置 "self_heal": true 。此功能可让 Oxylabs 在解析器预设因目标网站变化而开始失败时自动调整你的解析器指令。

YouTube 频道

用户现在可以 抓取 YouTube 频道数据 ,借助新的专用来源 – youtube_channel。只需提供 YouTube channel_handle.

YouTube 字幕

网页爬虫API 现已支持 YouTube 字幕和隐藏字幕(CC)提取 ,借助新的来源 – youtube_subtitles。用户现在可以通过提供 YouTube 视频 ID 和字幕语言代码来获取 auto_generated 和 、 user_provided 字幕。

使用 网页爬虫API 抓取 Google AI Overviews

该 google_search 和 google_ads 来源现在会在所有可用地区同时返回 AI Overviews 结果和标准 SERP 数据,并支持每个响应包含多个 AI 区块,包括 “People also ask” 和 “Things to know.”

网页爬虫API 的新专用来源现已可用

网页爬虫API 新增了 3 个专用目标: perplexity, chatgpt, google_ai_mode。这些目标可用于从 AI 搜索界面提取由 LLM 生成的响应。请参见 此表.

Markdown 输出

你现在可以请求 Markdown 输出 ,除了 HTML 或解析后的 JSON。要在响应中获取 Markdown 内容,请在请求中设置 "markdown": true 。

单个 API 响应中的多格式输出

新增

  • 可获取 多种输出格式 在单个 API 响应中

  • 支持 Realtime 和 Push-Pull 集成方式

变更

  • 该 类型 URL 参数现在支持结果类型列表(parsed, markdown, png, xhr, raw),而不是单个值

解析器预设

新增了 创建, 复用,以及 管理 自定义 解析器预设 通过网页爬虫API 实现。解析器预设托管在我们的系统中,便于你在多个抓取任务中轻松使用。此外,你还可以监控每个预设的使用情况和性能指标。

按流量使用的数据中心代理提醒

使用 数据中心代理 数据中心代理且采用 按流量计费订阅 的客户,现将在每月流量使用达到 80% 和 100% 时收到电子邮件通知。请访问 我的账户 → 电子邮件通知 中的仪表板,以选择你希望接收通知的阈值、添加多个收件人邮箱,或完全禁用这些通知。

AI Studio — 第 5 个应用发布

AI Studio 现在具备 5 个 AI 驱动工具 你可以使用 自然语言提示词进行控制。每个应用都会自动化特定的网页抓取任务,同时消除常见痛点。我们的工具包包括 AI-Crawler, AI-Scraper, Browser Agent, AI-Search,以及新加入的 AI-Map.

网页爬虫API 的按功能计费

采用按功能计费后,定价现在会根据抓取复杂度进行调整,并基于渲染需求和目标类型提供不同费率。此外,我们的 免费试用时长现已无限制 ,可 最多 2,000 条结果 用于测试我们的产品。

Cloud Storage 的文件命名模板

新增对 自定义文件命名模板 的支持,在将结果保存到 Cloud Storage时。现在你可以使用提交的 作业参数 和 job_info 变量 来定义文件名和目录路径。这使组织和识别文件容易得多。

Google Reverse Image Search 抓取来源已不再可用

Google Reverse Image Search(google_images)来源已不再受支持,因为 Google 已停用该功能。你现在可以改用 Google Lens (google_lens )来源,它提供等效服务,并遵循相同的输入和输出格式。

XHR 请求捕获

网页爬虫API 现已支持 捕获网络请求(Fetch/XHR) 以便更轻松地从大量使用 JavaScript 的网站抓取动态内容。将 xhr 参数设置为 true 以直接从 API 响应中提取数据,而不是解析 HTML。

Alibaba Cloud OSS 和其他兼容 S3 的存储

网页爬虫API 现已支持 Alibaba Cloud 对象存储服务 和 其他兼容 S3 的存储解决方案 配置。要将抓取结果保存到这些存储桶中,请将 storage_type 为 s3_compatible 并提供你的 storage_url.

Amazon Search 的高级筛选和排序

新增 sort_by 和 refinements 参数添加到我们的 Amazon Search 来源,以便根据价格、品牌、颜色和其他筛选条件进行更精确的抓取。

由 AI 驱动的浏览器指令

用户现在可以 使用 AI 生成浏览器指令 在 网页爬虫API Playground 在我们的仪表板中。你无需手动选择每个操作,只需输入提示,即可自动生成指令。

解锁浏览器文档

文档中现已提供解锁浏览器:

在一个地方即可找到有关 CAPTCHA Solving Events、Device Type 等所有设置说明。

用于视频下载的高带宽代理

推出 高带宽代理 - 大规模抓取视频和音频数据 配备 200+ Gbps 专用带宽、智能 IP 轮换和长连接,专为不间断的大批量下载而设计。 完全兼容 yt-dlp 以及其他开源库,易于集成,并通过专用代理出口节点针对速度、稳定性和规模进行了优化。

通过 API 获取视频抓取和可用于 AI 的数据

推出 视频数据API - 可用于 AI 的基础设施 用于查找相关视频、频道和播放列表,下载视频/音频文件,提取转录内容,并为所有内容补充元数据——无需自行构建或维护爬虫。

合规的 YouTube 视频数据集

获取高质量、创作者批准的 视频数据集 并包含丰富的 元数据、转录内容和 720p+ 分辨率 — 可用于 训练和微调 AI 模型。无需抓取,无需担心法律问题,只需干净且可扩展的视频数据。

文档改进

Oxylabs 文档现在将所有设置和故障排除内容集中在一个地方:

使用 E-Commerce Web Data Platform 获取干净数据

推出 Oxylabs 新产品 - E-Commerce Web Data Platform。 借助该平台,你将能够从 Walmart、Amazon、Shopee 和其他顶级电商平台获取干净数据。

新产品发布 - 解锁浏览器

我们已推出 解锁浏览器,一款 无头,全托管的 浏览器 可模拟真实浏览行为,以 应对机器人流量管理系统 或 CAPTCHAs 自动处理,并访问复杂的 大量使用 JavaScript 的网站 ,轻松自如。

网页爬虫API 新增 30 个参数化来源

网页爬虫API 现已支持 30 个新的参数化来源 — 选择参数,例如搜索词、门店 ID 或邮政编码,并 自动构建你的请求。

网页爬虫API 和 网页解锁器的使用量上限邮件通知

你现在可以设置 邮件提醒 ,以便在你的 网页爬虫API 或 网页解锁器 使用量达到 80% 和/或 100% 的月度订阅限额时收到通知。

Google AI Overviews 响应 schema 更新

Google AI Overview 响应结构 现已支持 多个 AI Overview 区块 在单个响应中。此前仅限于单个对象, 该 schema 现在返回一个 AI Overview 对象数组,确保你能捕获 Google 搜索结果中的所有 AI 生成内容。

Google 相关搜索 schema 改进

我们已改进 Google Web Search 相关搜索 schema ,可 更精确的位置跟踪 ,适用于多个相关搜索区块。你现在可以直接在解析后的数据中获取更详细、按位置区分的相关搜索结果。

OxyCopilot 提示词和代码示例库

我们已推出 OxyCopilot 提示词库 ,可 可直接使用的 AI 提示词 和代码示例用于抓取和解析任务。用户现在可以按照分步指南为特定目标生成请求,并查看由 OxyCopilot.

多模态视频数据提取

网页爬虫API 现已支持 多模态 YouTube 数据提取 包含四个新来源: youtube_search, youtube_download, youtube_transcripts,以及 youtube_metadata。用户现在可以通过提供 YouTube 视频 ID 和字幕语言代码来获取 视频、音频、转录和元数据 适用于 AI 应用和高级分析。

网页爬虫API 任务管家的新端点

我们为 网页爬虫API 新增了两个新端点 任务管家 以便更好地查看计划任务。用户现在可以检索 任一计划的 运行历史 (/runs)和 已执行的任务列表 (/jobs)。

代理:新增国家/地区

  • 现在可通过控制台购买比利时和加拿大地区的 ISP代理。

  • 现在可用于数据中心代理的地区包括意大利、新加坡和波兰。

  • 现在可用于独享数据中心代理的地区包括意大利、新加坡、西班牙和波兰。

无代码浏览器指令

用户现在可以通过几个简单步骤在 网页爬虫API Playground 在我们的控制台中,免去手动编码的需要——设置操作、生成结构化 JSON,并导出以供进一步使用。

在抓取 Amazon 时设置币种

现在在抓取 Amazon 商品、搜索、定价和畅销榜页面时可以指定币种!只需添加 context:currency 参数来定义价格币种。可在此处查看可用值 此处 ,或参考相应的 Amazon 文档页面。

住宅代理和移动代理的使用提醒

保持知情,避免服务中断。现在当您的住宅代理和移动代理接近每月订阅限制时,您会收到电子邮件通知。要启用或禁用此功能,只需前往 我的账户 > 电子邮件通知 控制台中的

控制台:转移团队所有权

现在可在控制台的“我的账户” -> “团队”中通过三个步骤转移团队所有权:选择新所有者,确认转移,然后由新所有者接受邀请。

Kroger 的更多本地化功能

你现在可以设置 delivery_zip 代码,用于 Kroger 指定精确的送货地点,并使用 fulfillment_type 参数来选择首选订单方式,包括 ship, pickup, delivery,或 in_store.

5 个免费的数据中心 IP

所有新注册用户现在都会获得 5 个免费的数据中心 IP 来测试服务——无需信用卡。 立即注册 或查看 我们的文档 开始使用。

最后更新于

这有帮助吗?