网页搜索

功能全面的 Google Search 抓取器，提供自然结果、广告、摘要、头条新闻等的解析数据。

该 google_search 来源用于检索 Google Search（SERPs）和 Google AI Overviews 结果。本子页面专门介绍与 Google 网页搜索相关的信息。要了解其他结果类型，请阅读 图片搜索 或 新闻搜索.

请求示例

在下面的示例中，我们发出请求以获取 2 结果页，从第 11 页到第 12 页，搜索词为 adidas。API 将返回解析后的结果。

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "adidas",
        "start_page": 11,
        "pages": 2,
        "parse": true
    }'

Python

import requests
from pprint import pprint


# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'start_page': 11,
    'pages': 2,
    'parse': True,
}


# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

HTTP

PHP

Golang

C#

Java

JSON

我们的示例使用同步 Realtime 集成方式。如果你想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参考 集成方法 部分。

请求参数值

通用

抓取 Google 网页搜索结果的基本设置和自定义选项。

参数	描述	默认值
source	设置爬虫。使用 google_search.	–
query	要搜索的关键词或短语。	–
render	设置为时启用 JavaScript 渲染 html. 更多信息.	–
parse	设置为时返回解析后的数据 true。查看输出 数据字典.	false
callback_url	指向你的回调端点的 URL。 更多信息	–
user_agent_type	设备类型和浏览器。完整列表可在 此处.	desktop

- 必填参数

Google 高级搜索运算符

在抓取时，你可能会发现将 Google 高级搜索运算符与查询结合使用很有用。这样可自定义搜索范围，确保结果更相关、更聚焦。了解这些特殊命令 此处 和 此处。请看下面的示例。

本地化

将搜索结果适配到特定地理位置、区域和语言。

参数	描述	默认值
geo_location	结果应适配的地理位置。正确使用此参数对获取正确数据极其重要。有关更多信息，请阅读我们建议的 geo_location 参数结构 此处.	-
locale	Accept-Language 请求头值，可更改你的 Google 搜索页面网页界面语言。 更多信息.	-

分页

用于管理搜索结果分页和检索的控制项。

参数	描述	默认值
start_page	起始页码。	1
pages	要检索的页数。	1
limit	每页要检索的结果数量。	10
context:limit_per_page	使用相同 IP 地址和会话（已设置 Cookie）抓取多个页面。通过在 JSON 数组中使用 page 键指定页码，并使用 limit 键指定每页的自然结果数量，可以最大限度减少跨页面出现重复自然结果的可能性（例如，第一页的最后一个自然结果与第二页的第一个自然结果相同）。 查看示例.	-

连续滚动支持

网页爬虫API 完全支持 Google Search 连续滚动。它会自动检测连续滚动布局，高效加载所请求的自然结果，无需任何额外参数。

每页限制

由于 Google 最近的限制变更，我们已调整 网页爬虫API 的行为。每页最大结果数将与 Google 的自然结果输出一致，通常为 10 条结果。

要使用此功能，请包含一个 JSON 数组，其中的 JSON 对象包含以下数据：

参数	描述	示例
page	你想抓取的页码。任何大于 0 的整数都可以	1
limit	该页上的结果数量。任何介于 1 和 100 （含）之间的整数都可以。	90

请求示例

过滤

用于根据各种条件过滤和优化搜索结果的选项。了解如何使用 context 参数 此处.

参数	描述	默认值
context: filter	将此参数的值设置为 0 可以查看原本会因与其他结果相似而被排除的结果。	1
context: safe_search	安全搜索。设置为 true 即可启用。	false
context: udm	udm 参数允许在不同搜索标签之间切换，例如图片、地点或视频，以自定义显示的结果类型。查看可接受的值 此处.	-
context: tbm	待匹配或 tbm 参数。可用值： bks （书籍）， isch （图片）， nws （新闻）， vid （视频）， lcl （本地）结果。	-
context: tbs	此参数类似于一个容器，用于存放较隐蔽的 Google 参数，例如按日期限制/排序结果以及其他过滤器，其中有些取决于 tbm 参数。更多信息 此处.	-

udm 和 tbm context 参数不能在单个抓取请求中同时使用；请只选择一个。两者同时使用可能会导致冲突或意外行为。

其他

用于特殊需求的额外高级设置和控件。

参数	描述	默认值
context: fpstate	将 fpstate 值设为 aig 会让 Google 加载更多应用。此参数仅在与 render 参数一起使用时才有用。	-
context: nfpr	true 将关闭拼写自动更正	false

上下文参数

所有上下文参数都应添加到 context 数组中的对象，包含 键 和 值 对，例如：

结构化数据

网页爬虫API能够提取包含 Google 搜索结果的 HTML 或 JSON 对象，并为结果页的各个元素提供结构化数据。

google_search 结构化输出

元素的组成可能会因是否为 desktop 或 移动端 搜索。

为帮助你识别某些元素，请参考每种 Google 搜索结果类型的数据字典，无论它是来自桌面端还是移动端搜索。

输出数据字典

可通过右侧导航或向下滚动页面浏览详细信息。

JSON 结构

Google Web Search 结构化输出包含如下字段： URL, page, results以及其他字段。下表列出了我们解析的每个 SERP 功能的详细清单，以及其描述和数据类型。表中还包含一些元数据。

某一特定结果类型的项目和字段数量可能会因搜索查询而异。

键名	描述	类型
url	Google 搜索页面的 URL。	字符串
page	相对于 Google SERP 分页的页码。	整数
results	包含搜索结果的字典。	对象
results.pla	包含各自详细信息的商品列表广告列表。	对象
results.paid	包含各自详细信息的赞助结果列表。	数组
results.images	包含各自详细信息的图片结果列表。	对象
results.flights	包含各自详细信息的航班列表。	对象
results.organic	包含各自详细信息的非付费列表。	数组
results.organic_videos	包含各自详细信息的自然视频列表。	数组
results.top_sights	包含各自详细信息的著名地标或景点列表。	数组
results.jobs	包含各自详细信息的职位列表。	对象
results.local_service_ads	赞助的本地服务提供商列表。	对象
results.video_boxes	SERP 中的视频框及其详细信息。	数组
results.recipes	包含各自详细信息的食谱列表。	对象
results.twitter	包含各自详细信息的 Twitter (X) 结果列表。	数组
results.local_pack	包含与搜索相关的本地商家列表。	对象
results.item_carousel	包含各自详细信息的信息性查询示例项目列表。	对象
results.videos	包含各自详细信息的视频列表。	对象
results.hotels	与搜索查询所用地点相关的酒店列表。	对象
results.apps	包含各自详细信息的应用列表。	数组
results.finance	公司财务数据摘要，包括股价、市值和其他关键指标。	对象
results.sports_games	近期体育赛事信息，详述比分、球队、比赛类型和精彩片段。	对象
results.discussions_and_forums	包含 URL、标题、来源和评论数的讨论线程和论坛帖子列表。	对象
results.featured_snippet	从 SERP 自然结果部分提取的特定结果列表。	数组
results.top_stories	当搜索查询被识别为新闻导向时，包含各自详细信息的文章列表。	对象
results.popular_products	包含各自详细信息的 Google Shopping 产品列表的非付费和自然展示列表。	对象
results.related_searches	在搜索页面不同位置显示的一个或多个相关搜索块列表。	数组
results.related_questions	包含各自详细信息的相关疑问搜索查询列表。	对象
results.what_people_are_saying	包含 URL、标题、来源、热门评论、参与度和时间范围的讨论线程和论坛帖子列表。	数组
results.search_information	已提交搜索查询的详细信息列表。	对象
total_results_count	搜索查询找到的结果总数。	字符串
last_visible_page	标识搜索查询结果页中可见最大页码的值。（通过滚动触发加载更多结果时为 -1）。	整数
parse_status_code	解析任务的状态码。您可以查看所述的解析器状态码 此处.	整数
created_at	爬取任务创建时的时间戳。	时间戳
updated_at	爬取任务完成时的时间戳。	时间戳
job_id	与爬取任务关联的任务 ID。	字符串
status_code	爬取任务的状态码。您可以查看所述的爬虫状态码 此处.	整数
parser_type	用于拆解 HTML 内容的解析器类型。	字符串

在以下部分中，当某种结果类型有多个项目可用时，解析后的 JSON 代码片段会被缩短。

产品列表广告（PLA）

该 pla 搜索结果中的该部分指产品列表广告，也称为 Google Shopping 广告，通常以轮播形式突出显示在搜索页面顶部。

键（results.pla）	描述	类型	布局
items	页面中可用的所有 PLA。	数组	桌面端和移动端
items.pos	用于表示某个项目在 PLA 结果中的位置。	整数	桌面端和移动端
items.title	列表广告中产品的标题。	字符串	桌面端和移动端
items.url	产品的 URL	字符串	桌面端和移动端
items.price	列表广告中产品的价格。	字符串	桌面端和移动端
items.seller	列表广告中产品的卖家。	字符串	桌面端和移动端
items.url_image	产品图片的 URL。	字符串	桌面端
items.image_data	产品缩略图的 Base64 编码图片。	字符串	桌面端和移动端
pos_overall	用于表示 PLA SERP 功能在 SERP 中的位置。	整数	桌面端和移动端

付费

该 paid 该部分指由 Google Ads 提供支持的广告，通常显示在自然（非付费）结果之上。

键（results.paid）	描述	类型	布局
pos	用于表示某个项目在付费结果中的位置。	整数	桌面端和移动端
url	付费结果的 URL。	字符串	桌面端和移动端
desc	付费结果的简短描述。	字符串	桌面端和移动端
title	付费结果的标题。	字符串	桌面端和移动端
data_rw	付费结果的重定向 URL。	字符串	桌面端和移动端
sitelinks	包含网站内部链接信息的对象，显示在 Google 的首个搜索结果下方。	对象	桌面端和移动端
sitelinks.inline/expanded	包含各自详细信息的 URL 列表。键名（`inline`/`expanded`）指定了 sitelinks 元素的类型。	数组	桌面端和移动端
sitelinks.inline.url	链接网站的 URL。	字符串	桌面端和移动端
sitelinks.inline.title	链接网站的标题。	字符串	桌面端和移动端
sitelinks.inline.description	链接网站的简短描述。	字符串	桌面端
url_shown	描述下方可见的短 URL。	字符串	桌面端和移动端
pos_overall	用于表示付费结果在 SERP 中的位置。	整数	桌面端和移动端

图片

该 images 该部分指 SERP 页面不同区域显示的图片结果，既可以作为独立版块，也可以显示在顶部。需要注意的是，从 Google 搜索结果抓取的数据结构可能与从 Google 图片搜索结果抓取的数据结构不同。

键（results.images）	描述	类型	布局
items	包含各自详细信息的图片列表。	数组	桌面端和移动端
items.alt	图片的替代文本。	字符串	桌面端和移动端
items.pos	表示列表中图片位置的唯一标识。	整数	桌面端和移动端
items.url	包含该图片的网页 URL。	字符串	桌面端和移动端
pos_overall	表示 Images SERP 功能在 SERP 中的位置。	整数	桌面端和移动端

自然

该 自然 该部分指的是 Google 自然搜索结果中的非付费列表，这些列表通过 Google 的算法根据相关性确定。它们显示在搜索页面上的付费广告下方。

示例 1

示例 2

键（results.organic)	描述	类型	布局
pos	表示给定项目在自然结果中的位置的指示器。	整数	桌面端和移动端
url	自然结果的 URL。	字符串	桌面端和移动端
desc	自然结果的简短描述。	字符串	桌面端和移动端
title	自然结果的标题。	字符串	桌面端和移动端
images	自然结果的 base64 编码缩略图。	字符串	桌面端和移动端
sitelinks	对象包含 `expanded` 或 `inline` 元素，其中提供有关站点链接的更多详细信息。	对象	桌面端和移动端
站点链接.expanded/inline	自然结果的站点链接列表。键名（内联/展开) 指定 sitelinks 元素的类型。	数组	桌面端和移动端
sitelinks.expanded.url	链接网站的 URL。	字符串	桌面端和移动端
sitelinks.expanded.title	链接网站的标题。	字符串	桌面端和移动端
url_shown	描述下方可见的短 URL。	字符串	桌面端和移动端
pos_overall	表示自然结果在 SERP 中的位置。	整数	桌面端和移动端
favicon_text	与 favicon（网站图标）关联的文本或名称。	字符串	桌面端
rating	产品或内容的平均评分。	浮点数	桌面端
review_count	与产品或内容关联的评论数量。	整数	桌面端
additional_info	包含有关定价、可用性、产品评分、配送选项、退货政策的详细信息。	字符串列表	桌面端

自然视频

该 results.organic_videos 包含一个视频列表数组，这些视频会自然显示在搜索结果中，意味着它们不是付费广告。每个视频列表都包含相关详细信息，例如视频标题、URL、描述。

键（results.organic_videos）	描述	类型	布局
pos	表示给定项目在自然视频结果中的位置。	整数	桌面端
url	视频的 URL。	字符串	桌面端
desc	视频的简短描述。	字符串	桌面端
title	视频标题。	字符串	桌面端
pos_overall	表示自然视频结果在 SERP 中的位置。	整数	桌面端

热门景点

该 results.top_sights 包含通常与搜索地点或主题相关的著名地标或景点列表。每个项目都包含如在列表中的位置和标题等详细信息。

键（results.top_sights）	描述	类型	布局
items	热门景点及其各自详细信息的列表。	数组	桌面端
items.pos	Top Sights SERP 功能中结果的位置。	整数	桌面端
items.title	旅游景点的标题。	字符串	桌面端
pos_overall	表示 Top Sights 结果在 SERP 中的位置。	整数	桌面端

职位

该 results.jobs 包含从搜索结果中提取的职位列表。每个列表都包含指向职位发布页面的 URL、职位标题、来源、雇主和地点等详细信息。这些列表来自 Google 索引的各种招聘网站、职业网站和其他平台。

键（results.jobs）	描述	类型	布局
列表	页面中所有职位列表的数组。	数组	桌面端
listings.url	完整职位列表的 URL。	字符串	桌面端
listings.title	职位名称。	字符串	桌面端
listings.source	包含原始招聘信息的来源。	字符串	桌面端
listings.employer	招聘该职位的组织。	字符串	桌面端
listings.location	该职位的地点。	字符串	桌面端
pos_overall	表示 Jobs SERP 功能在 SERP 中的位置。	整数	桌面端

Twitter（X）

该 twitter 该功能经常出现在品牌、电影、音乐人及其他名人的结果中，通常位于品牌网站的搜索结果下方。此功能提供指向品牌 Twitter 订阅源的直接链接，并展示其最新推文的轮播。

键（results.twitter）	描述	类型	布局
pos	表示给定项目在自然结果中的位置的指示器。	整数	桌面端
url	包含 Twitter（X）帖子资料的个人资料 URL。	字符串	桌面端
items	包含各自详情的 Twitter（X）帖子列表。	数组	桌面端
items.pos	表示给定推文在 Twitter（X）SERP 功能中的位置。	字符串	桌面端
items.url	Twitter（X）帖子的 URL。	字符串	桌面端
items.content	用于表示相关 Twitter（X）帖子全部文本的简短描述。	字符串	桌面端
items.timeframe	描述该推文创建于多久之前。	字符串	桌面端
title	Twitter（X）个人资料的标题。	字符串	桌面端
pos_overall	表示 Twitter 结果在 SERP 中的位置。	整数	桌面端

本地包

该 local_pack 根据用户位置或指定搜索位置显示前三个本地搜索结果，并包含地图和附加信息。

键（results.local_pack）	描述	类型	布局
items	包含各地点及其对应详情的列表。	数组	桌面端和移动端
items.cid	分配给特定商家列表的唯一标识编号。	字符串	桌面端和移动端
items.pos	本地结果在本地包中的位置。	整数	桌面端和移动端
items.title	本地实体的标题。	字符串	桌面端和移动端
items.rating	本地实体的评分。	整数	桌面端和移动端
items.address	本地实体的地址。	字符串	桌面端和移动端
items.rating_count	本地实体的评分数量。	整数	桌面端和移动端
pos_overall	表示 Local Pack 结果在 SERP 中的位置。	整数	桌面端和移动端

头条新闻

top_stories 是 Google Search 中针对新闻类查询展示的专门版块。

键（results.top_stories）	描述	类型	布局
items	精选新闻文章及其各自详情的列表。	数组	桌面端和移动端
items.pos	文章在 Top Stories SERP 功能中的位置。	整数	桌面端和移动端
items.url	完整文章的网址。	字符串	桌面端和移动端
items.title	文章标题。	字符串	桌面端和移动端
items.section	Top Stories 版块的名称。	字符串	移动端
items.source	发布文章的网站名称。	字符串	桌面端和移动端
items.timeframe	描述文章发表于多久之前。	字符串	桌面端
pos_overall	表示 Top Stories SERP 功能在 SERP 中的整体位置。	整数	桌面端和移动端

热门产品

该 popular_products SERP 功能会展示一个由各种产品组成的轮播，其排序依据是受欢迎程度和与用户查询的相关性。这不同于受广告主影响的 Product Listing Ads (PLAs)。值得注意的是，多个 popular_products 轮播可能会出现在单个 SERP 页面上。

键（results.popular_products）	描述	类型	布局
items	热门产品及其各自详情的列表。	数组	桌面端和移动端
items.pos	用于表示某个热门产品在 Popular Products SERP 功能中的位置的唯一标识。	整数	桌面端和移动端
items.url	该产品 Google Shopping 页面的网址。	字符串	桌面端和移动端
items.title	产品标题。	字符串	桌面端和移动端
items.token	产品 token（与 google_shopping_product source 配合使用，适用于卖家、定价、产品详情）。	字符串	桌面端和移动端
items.rating	给定热门产品的评分。	字符串	桌面端和移动端
items.sellers	提供该产品的卖家列表，以及各自的详细信息。	数组	桌面端和移动端
items.sellers.pos	卖家在卖家列表中的位置。	整数	桌面端和移动端
items.sellers.price_str	卖家给出的产品价格。	字符串	桌面端和移动端
items.sellers.seller_name	产品卖家名称。	字符串	桌面端和移动端
items.currency	标价的货币代码。	字符串	桌面端和移动端
items.image_data	产品缩略图的 Base64 编码图片。	字符串	桌面端和移动端
items.description	产品卖家的简短描述。	字符串	桌面端和移动端
items.rating_count	产品的评分数量。	整数	桌面端和移动端
pos_overall	表示 Popular Products SERP 功能在 SERP 中的整体位置。	整数	桌面端和移动端

相关搜索

该 related_searches 该 SERP 功能会显示与初始搜索关键词相关的替代搜索查询，通常位于 SERP 底部。

键（results.related_searches）	描述	类型	布局
pos_overall	表示此相关搜索模块在搜索页面中的整体位置。	整数	桌面端和移动端
related_searches	此模块中的相关搜索字符串列表。	数组	桌面端和移动端

相关问题

该 related_questions 该功能位于主搜索结果下方，展示与用户原始搜索查询直接相关的问题列表。通过提供精选的相关问题，用户可以探索主题的不同方面，从而提升整体搜索体验。

键（results.related_questions）	描述	类型	布局
items	包含所有相关问题的列表。	数组	桌面端和移动端
items.pos	用于表示任一相关问题在 Related Questions SERP 功能中的位置的唯一标识。	整数	桌面端和移动端
items.answer	相关问题的答案。	字符串