For the complete documentation index, see llms.txt. This page is also available as Markdown.

URL

Google URL 抓取器可轻松从任何 Google 页面获取内容。可结合多语言代码示例轻松集成。

该 google source 旨在从各种 Google URL 中检索内容。这意味着,你无需发送多个参数,只需向我们提供所需 Google 页面 的直接 URL。我们不会删除任何参数,也不会以任何其他方式更改你的 URL。

请求示例

在下面的示例中,API 将检索一个 Google Scholar 搜索页面。

curl 'https://data.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google",
        "url": "https://scholar.google.com/scholar?hl=en&q=newton&btnG=&as_sdt=1%2C5&as_sdtp="
    }'
import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google',
    'url': 'https://scholar.google.com/scholar?hl=en&q=newton&btnG=&as_sdt=1%2C5&as_sdtp='
}

# Get response.
response = requests.request(
    'POST',
    'https://data.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 响应包含作业详情,包括作业 ID。
# 使用该 ID 检查作业状态并检索结果。
pprint(response.json())

我们使用 Push-Pull 集成方式在示例中。提交任务后会立即返回任务 ID,而不是结果。一旦任务状态为 完成,请使用以下方式获取结果: GET https://data.oxylabs.io/v1/queries/{job_id}/results。请参阅 Push-Pull 以了解如何检查任务状态、回调和批量查询。

请求参数值

通用

用于抓取 Google URL 的基本设置和自定义选项。

参数
说明
默认值

source

当设置为时设置抓取器 google.

–

url

指向 Google 页面的直接 URL(链接)。支持 Google 高级搜索运算符.

–

render

设置为时启用 JavaScript 渲染 html. 更多信息.

–

parse

设置为时返回解析后的数据 true. 仅限特定 Google 页面类型的 URL。

–

callback_url

回调端点的 URL。 更多信息

–

user_agent_type

设备类型和浏览器。完整列表可见 这里.

桌面端

geo_location

结果应适配的地理位置。正确使用此参数对于获取正确数据极其重要。更多信息请参阅我们推荐的 geo_location 参数结构 这里.

–

- 必填参数

输出示例

最后更新于

这有帮助吗?