Documentation has been updated: see help center and changelog in one place.

ChatGPT

了解如何使用 Web Scraper API 抓取 ChatGPT。查找全面的代码示例和输出样本。

chatgpt source 旨在提交提示并检索 ChatGPT 的对话响应。它返回完整的 ChatGPT 响应文本及其结构化元数据。

请求示例

以下代码示例演示如何提交提示并检索带解析结果的 ChatGPT 响应。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "chatgpt",
        "prompt": "best supplements for better sleep",
        "parse": true,
        "search": true,
        "geo_location": "United States"
    }'

我们的示例使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成,请参阅 集成方法 页面。

请求参数值

用于抓取 ChatGPT 的基本设置和自定义选项。

参数
说明
默认值

source

设置要使用的爬虫。

chatgpt

prompt

要提交给 ChatGPT 的提示或问题。必须少于 4000 个符号。

-

search

触发 ChatGPT 通过点击相关界面按钮对提示执行网络搜索。

true

render

默认情况下对 以下 情况强制启用 JavaScript 渲染 chatgpt. 更多信息.

-

parse

设置为时返回解析数据 true.

false

geo_location

指定要从哪个国家/地区发送提示。 更多信息.

-

callback_url

您的回调端点的 URL。 更多信息.

-

- 强制参数

结构化数据

Web Scraper API 能够提取包含 ChatGPT 输出的 HTML 或 JSON 对象,提供结果页面各元素的结构化数据。

chatgpt 结构化输出

输出数据字典

HTML 示例

JSON 结构

结构化的 chatgpt 输出包含诸如等字段 URL, page, results,以及更多。下表列出了我们解析的每个 ChatGPT 元素的详细清单,包括描述、数据类型和相关元数据。

特定结果类型的项目数和字段可能会根据提交的提示而变化。

键 名称
说明
类型

url

ChatGPT 对话的 URL。

字符串

page

页码。

整数

内容

包含解析后 ChatGPT 响应数据的对象。

对象

content.prompt

提交给 ChatGPT 的原始提示。

字符串

content.llm_model

使用的 ChatGPT 模型(例如,"gpt-4-o"、"gpt-3.5-turbo" 等)。

字符串

content.markdown_json

来自 ChatGPT 的完整响应 Markdown(JSON 格式)。

数组

content.markdown_text

来自 ChatGPT 的完整响应 Markdown 文本。

字符串

content.response_text

来自 ChatGPT 的完整响应文本。

字符串

content.citations

带有 URL 和文本的引用链接列表。

数组

content.links

响应中引用的外部链接列表。

数组

content.parse_status_code

解析操作的状态码。

整数

created_at

抓取任务创建的时间戳。

timestamp

updated_at

抓取任务完成的时间戳。

timestamp

job_id

与抓取任务关联的作业 ID。

字符串

geo_location

提交提示时使用的代理位置。

字符串

status_code

抓取任务的状态码。你可以看到抓取器状态码的描述 此处.

整数

parser_type

用于解析 HTML 内容的解析器类型。

字符串

最后更新于

这有帮助吗?