LLM 与 AI

查找适用于最热门 LLM 和 AI 平台的 Oxylabs 网页爬虫API 抓取指南。

Oxylabs LLM 抓取器让你可以向领先的 AI 平台提交提示词，并接收结构化且已解析的响应。支持的目标：

• ChatGPT – 来源： chatgpt
• Gemini – 来源： gemini
• Perplexity – 来源： perplexity

所有专用的 LLM & AI 抓取器支持 自定义浏览器指令. 了解更多.

集成方式

LLM & AI 来源使用 Push-Pull 集成方式。不是保持连接打开直到响应就绪，而是提交一个任务，并在完成后收集结果：

1. 提交任务： 将你的提示词发送到 Push-Pull 端点。你会立即收到一个任务 ID，而不是结果。
2. 等待完成： 要么让我们通过 callback_url （推荐），或 自行检查任务状态 。
3. 获取结果： 一旦状态为 done，就获取已解析的响应。

Realtime 和 Proxy Endpoint 不可用 为 chatgpt, gemini，以及 perplexity 来源。这些目标的完成时间比同步连接允许的更长，因此 Push-Pull 是唯一支持的方法。

请求示例

所有 LLM 目标大多使用相同的请求参数，主要区别在于最大提示词长度。

将载荷提交到 Push-Pull 端点——完整代码示例请参见各目标页面。

{
  "source": "chatgpt",
  "prompt": "best supplements for better sleep",
  "parse": true,
  "geo_location": "United States",
  "callback_url": "https://your-server.com/oxylabs-callback"
}

参数	描述	类型
source	要抓取的 LLM 目标。允许的值： chatgpt, perplexity, gemini.	字符串
prompt	要提交的查询或提示词。最大长度：4,000 个字符，适用于 chatgpt；适用于 8,000 个字符的 perplexity 和 gemini.	字符串
callback_url	推荐。 任务完成后，我们会在该 URL 发送通知，这样你就无需自己检查状态。 更多信息.	字符串
解析	设置为 true 以接收结构化 JSON 响应。	布尔值
geo_location	用于路由请求的地理位置（例如， "United States").	字符串
browser_instructions	在渲染 JavaScript 时执行可选的自定义浏览器指令。 更多信息.	对象

- 必填参数

注意： 所有 LLM 目标默认启用 JavaScript 渲染。不要在 render 请求负载中包含它。

响应

所有 LLM 目标返回相同的顶层数据结构。（完整的响应字段参考请参见各目标页面。）

提交任务

提交后会返回任务详情，包括你用于获取结果的 ID。它不 会 包含抓取的数据。

字段	描述	类型
job.id	抓取任务的唯一标识符。使用它来获取结果。	字符串
job.status	任务的当前状态： pending 在运行期间， done 当结果就绪时， faulted 如果失败（仅在状态为 done)	字符串
job.source	已提交 source 值。	字符串
job.parse	已提交 解析 值。	布尔值
job.prompt	请求中的原始提示词。	字符串
job.geo_location	用于该请求的地理位置。	字符串
job.created_at	任务创建时间戳（UTC， YYYY-MM-DD HH:MM:SS).	字符串
job.updated_at	任务更新时间戳。	字符串

获取结果

一旦任务状态为 done，使用 job.id 你收到的。每个目标特定的解析内容位于 results[].content （完整字段参考请参见各目标页面。）

字段	描述	类型
results[].job_id	与结果关联的任务 ID。	字符串
results[].status_code	页面获取的 HTTP 状态码。	整数
results[].url	目标 LLM 页面。	字符串
results[].content	LLM 响应数据。字段因目标而异。	对象

按目标划分的响应数据

下表显示每个 LLM 目标可用的数据字段。

	ChatGPT	Gemini	Perplexity
提示词输入	✓	✓	✓
解析后的输出（JSON）	✓	✓	✓
纯文本响应	✓	✓	–
Markdown 输出	✓	✓	✓
Markdown JSON 树	✓	–	✓
搜索 / 相关查询	✓	–	✓
引用 / 来源	✓	✓	✓
购物结果	✓	–	✓
广告	✓	–	–
地理位置	✓	✓	✓
所用 LLM 模型	✓	✓	✓

– 条件返回，仅在内容出现在 LLM 响应中时返回。