AI Overviews

提取搜索结果中的 AI Overviews，提供答案文本、项目符号列表、来源面板和信息列表的解析数据。

该 google_search 和 google_ads 来源可在所有支持的全球地区从 Google 搜索结果中返回 AI Overviews。 ai_overviews 结果数组支持在单个响应中包含多个 AI 区块，包括“大家还会问”和“须知事项”等部分。

为最大限度提高接收完整渲染的 AI Overviews 内容的可能性，您必须包含以下参数：

参数

值

source

google_search 或 google_ads

render

html

user_agent_type

desktop 或 mobile

使用这些参数还可让您通过单个请求同时接收常规响应和 AI Overviews 内容。

Google 会动态生成此内容或加载缓存版本，因此即使参数完全相同，AI 生成的答案也可能随时间而变化。

探索 数据字典 了解部分 AI Overviews SERP 功能。

AI Overviews 区域可用性

除少数例外情况外，Google AI Overviews 在大多数国家/地区均可用。目前最大的排除国家/地区包括：

法国
摩纳哥
中国
伊朗
苏丹
叙利亚
古巴
朝鲜

Google AI Overviews 功能正在持续推广，未来将逐步纳入更多国家/地区。

请求示例

以下是使用 google_search 网页爬虫API 来源捕获 Google AI Overviews 的代码示例。

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Updated payload.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

https://realtime.oxylabs.io/v1/queries?source=google_search&query=Emporio%20Armani%20EA3192&render=html&user_agent_type=desktop&access_token=12345abcde

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "desktop"
}

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

处理多个 AI Overviews

由于 AI Overviews 现在以数组形式返回，您必须遍历它们：

// Processing all AI Overviews in a response
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // Process individual components
  if (aiOverview.answer_text) {
    // Handle answer text
  }
  if (aiOverview.bullet_list) {
    // Handle bullet lists
  }
  // And so on...
});

# Processing all AI Overviews in a response
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # Process individual components
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Process each answer text
            if 'fragments' in answer:
                for text_item in answer['fragments']:
                    print(f"Answer text: {fragment['text']}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    point_text = point['text']
                    print(f"- {point_text}")
    # Continue processing other elements...

<?php
// Processing all AI Overviews in a response
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // Process answer text
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['fragments']) && is_array($answer['fragments'])) {
                    foreach ($answer['fragments'] as $fragment) {
                        $textItem = $fragment['text'];
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // Process bullet lists
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        $pointText = $point['text'];
                        echo "- {$pointText}\n";
                    }
                }
            }
        }
        // Continue processing other elements...
    }
}
?>

大多数情况下只有一个 AI Overview，但您的代码应能够处理多个条目。

请求参数

通用

使用 AI Overviews 抓取 Google 网页搜索结果的基本设置和自定义选项。

参数

描述

默认值

source

设置爬虫。使用 google_search 或 google_ads.

google_search

查询

要搜索的关键词或短语。

render

设置为时启用 JavaScript 渲染 html. 更多信息.

context: expand_aio

设置为 true 以展开 Google AI Overviews（已启用 JavaScript 渲染）。

false

解析

设置为以下值时返回解析后的数据： true.

false

callback_url

回调端点的 URL。 更多信息

user_agent_type

设备类型和浏览器。使用 desktop 或 mobile.

desktop

- 必填参数

Google 高级搜索运算符

抓取时，将 Google 高级搜索运算符与查询结合使用可能会很有帮助。这让您可以自定义搜索范围，确保结果更相关且更聚焦。探索这些特殊命令此处。请参见下方示例查询。

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

本地化

使搜索结果适配特定地理位置和语言。

参数

描述

默认值

geo_location

结果应适配的地理位置。正确使用此参数对于获取正确数据极其重要。有关更多信息，请阅读我们建议的 geo_location 参数结构此处.

locale

Accept-Language 标头值，它会更改您的 Google 搜索页面网页界面语言。 更多信息.

分页

用于管理搜索结果分页和检索的控件。

参数

描述

默认值

start_page

起始页码。

1

pages

要检索的页数。

1

限制

每页要检索的结果数量。

10

context:limit_per_page

使用相同的 IP 地址和会话（Cookie 集）抓取多个页面。通过在 JSON 数组中使用 page 键指定页码，并使用 限制 键指明每页自然搜索结果数量，您可以最大限度减少跨页面出现重叠自然搜索结果的可能性（例如，第一页的最后一条自然搜索结果与第二页的第一条自然搜索结果相同）。 查看示例.

支持连续滚动

网页爬虫API 完全支持 Google 搜索连续滚动。它会自动检测连续滚动布局，高效加载请求的自然搜索结果，无需任何额外参数。

每页限制

由于 Google 最近调整了限制，我们已调整网页爬虫API 的行为。每页最大结果数将与 Google 的自然搜索结果输出保持一致，通常为 10 条结果。

要使用此功能，请包含一个 JSON 数组，其中含有包含以下数据的 JSON 对象：

参数

描述

示例

page

您希望抓取的页码。任何大于 0 的整数值均可

1

限制

相关页面上的结果数量。任何介于 1 和 100 之间（含边界）的整数值均可。

90

请求示例

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

筛选

根据各种条件筛选和优化搜索结果的选项。了解如何使用 context 参数此处.

参数

描述

默认值

context: filter

将此参数的值设置为 0 可让您查看原本因与其他结果相似而被排除的结果。

1

context: safe_search

安全搜索。设置为 true 以启用它。

false

context: udm

udm 参数允许在不同搜索标签之间切换，例如图片、地点或视频，以自定义显示的结果类型。查找接受的值此处.

context: tbm

待匹配或 tbm 参数。接受的值为： app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

此参数类似于更隐蔽的 Google 参数容器，例如按日期限制/排序结果，以及其他筛选器，其中一些取决于 tbm 参数（例如 tbs=app_os:1 仅适用于 tbm 值 app）。更多信息此处.

udm 和 tbm context 参数不能在单个抓取请求中一起使用；请仅选择一个。同时使用两者可能导致冲突或意外行为。

其他

针对特殊需求的其他高级设置和控件。

参数

描述

默认值

context: fpstate

将 fpstate 值设置为 aig 将使 Google 加载更多应用。此参数仅在与 render 参数一起使用时才有用。

context: nfpr

true 将关闭拼写自动更正

false

Context 参数

所有 context 参数都应添加到 context 数组中，作为带有 键 和 值 对的对象，例如：

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

结构化输出

数据字典

下表定义了 AI Overviews SERP 功能中的所有可用键：

键（results.ai_overviews）

描述

类型

answer_text

有关 Google 搜索查询词的一般信息。

数组

bullet_list

表示 AI Overviews SERP 功能中以项目符号列表呈现的项目相关信息。

数组

source_panel

用于在 Google SERP 功能中生成 AI Overviews 结果的来源列表。

对象

info_list

最常用于表示与搜索查询相关的流程步骤的信息列表。

数组

pos_overall

指示 AI Overviews SERP 功能结果在所有可用 Google SERP 结果中的位置。

整数

常规

在以下示例中，使用了“Emporio Armani EA3192”查询。

{
  "ai_overviews": [
    {
      "answer_text": [
        {
          "fragments": [
            {
              "text": "Emporio Armani is a luxury brand known for timeless designs.",
              "references": [
                {
                  "source": "http://italist.com ",
                  "url": "https://www.italist.com/magazine/what-is-emporio-armani/ "
                }
              ]
            }
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Pros",
          "points": [
            {"text": "Comfortable"},
            {"text": "Minimal branding"}
          ],
          "pos": 1
        }
      ],
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/...",
            "source": "http://italist.com ",
            "title": "What is Emporio Armani...",
            "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ]
}

答案文本

...
"answer_text": [
  {
    "fragments": [
      {
        "text": "Emporio Armani is a luxury brand known for timeless designs.",
        "references": [
          {
            "source": "http://italist.com",
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/"
          }
        ]
      }
    ],
    "pos": 1
  }
]
...

键（results.ai_overviews.answer_text）

描述

类型

fragments

对 Google 搜索查询的简短回答。

数组

fragments.text

片段的答案文本内容。

字符串

fragments.references

片段引用的来源列表。

数组

fragments.references.source

引用来源的名称。

字符串

fragments.references.url

引用来源的 URL。

字符串

pos

指示给定项目在所有 AI Overviews 答案结果中的位置。

整数

项目符号列表

...
"bullet_list": [
  {
    "list_title": "Pros",
    "points": [
      {"text": "Comfortable"},
      {"text": "Minimal branding"}
    ],
    "pos": 1
  }
]
...

键（results.ai_overviews.bullet_list）

描述

类型

list_title

项目符号列表的标题。

字符串

points

项目符号列表中呈现的项目。所有项目均以逗号分隔。

数组

points.text

项目符号的文本内容。

字符串

points.references

项目符号引用的来源列表（可选）。

数组

pos

指示给定项目在所有 AI Overviews 项目符号列表结果中的位置。

整数

来源面板

...
"source_panel": {
  "items": [
    {
      "url": "https://www.italist.com/...",
      "source": "http://italist.com",
      "title": "What is Emporio Armani...",
      "pos": 1
    }
  ]
}
...

键（results.ai_overviews.source_panel）

描述

类型

items

用于在 Google SERP 功能中生成 AI Overviews 结果的来源列表。

对象

items.url

网站的 URL。

字符串

items.source

网站的名称。

字符串

items.title

文章的标题。

字符串

items.pos

指示给定项目在所有 AI Overviews 来源面板结果中的位置。

整数

信息列表

键（results.ai_overviews.info_list）

描述

类型

list_title

列表的标题。

字符串

list_items

包含项目及其各自详细信息的列表。

数组

list_items.title

列表中部分的标题。

字符串

list_items.content

该部分的简短描述。

数组

list_item.pos

指示给定项目在所有 AI Overviews 信息列表结果中的位置。

整数

说明

在以下示例中，使用了“docker exec commands explained”查询。

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "fragments": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "fragments": [
            "The syntax for the docker exec command is as follows:"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

答案文本

"answer_text": [
  {
    "fragments": [
      "The docker exec...",
      "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
    ],
    "pos": 1
  }
]

键（results.ai_overviews.answer_text）

描述

类型

fragments

纯文本格式的 Google 搜索查询答案片段。

字符串数组

pos

指示项目在概览答案中的位置。

整数

上一页AI 模式

下一页Lens

最后更新于 18天前

这有帮助吗？