AI 概览

了解如何使用 Web Scraper API 提取 AI 概览。查找代码示例和支持的参数。

该 google_search 和 google_ads sources 可以在所有受支持的全球地区从 Google Search 结果返回 AI Overviews。 ai_overviews result 数组在单个响应中支持多个 AI 块，包括“People also ask”和“Things to know”等部分。

为最大化接收完整呈现的 AI Overviews 内容的可能性，您必须包含以下参数：

参数

值

source

google_search 或 google_ads

render

html

user_agent_type

desktop 或 mobile

使用这些参数还允许您通过单个请求同时接收一般响应和 AI Overviews 内容。

Google 动态生成此内容或加载缓存版本，因此 AI 生成的答案可能随时间变化，即使参数相同。

探索 数据字典 用于某些 AI Overviews SERP 功能。

AI Overviews 区域可用性

Google AI Overviews 在大多数国家可用，但有少数例外。目前最大的不包括国家有：

法国
中国
伊朗
朝鲜

Google AI Overviews 功能正在持续推出，随着时间推移会包含更多国家。

请求示例

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# 已更新的有效载荷。
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# 将美化后的响应打印到标准输出。
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

用于抓取带有 AI Overviews 的 Google Web 搜索结果的基本设置和自定义选项。

参数

说明

默认值

source

设置爬虫。使用 google_search 或 google_ads.

google_search

query

要搜索的关键字或短语。

render

设置为时启用 JavaScript 渲染 html. 更多信息.

parse

设置为时返回解析数据 true.

false

callback_url

您的回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。使用 desktop 或 mobile.

desktop

- 强制参数

Google 高级搜索运算符

在抓取时，将 Google 高级搜索运算符与查询结合使用可能很有用。它使您能够自定义搜索范围，确保结果更相关、更集中。探索这些特殊命令此处和此处。参见下面的示例查询。

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

本地化

将搜索结果适配到特定的地理位置、域名和语言。

参数

说明

默认值

geo_location

应适配结果的地理位置。正确使用此参数对于获取正确数据非常重要。有关更多信息，请阅读我们建议的 geo_location 参数结构 在此。

domain

Google 的域名本地化。完整可用域名列表可在此处找到此处.

com

locale

Accept-Language 更改您 Google 搜索页面网页界面语言的 header 值。 更多信息.

context: results_language

结果语言。支持的 Google 语言列表可在此找到此处。了解如何使用上下文参数此处.

分页

用于管理搜索结果分页和检索的控制。

参数

说明

默认值

start_page

起始页码。

1

pages

要检索的页面数量。

1

limit

每页要检索的结果数量。

10

context:limit_per_page

使用相同 IP 地址和会话（cookie 集）抓取多页。通过在 JSON 数组中使用 page 键并使用 limit 键指示每页的有机结果数，您可以将跨页出现重复有机结果（例如第一页的最后一个有机结果与第二页的第一个有机结果相同）的概率降到最低。 参见示例.

支持连续滚动

Web Scraper API 完全支持 Google Search 连续滚动。它会自动检测连续滚动布局，有效加载请求的自然结果，无需任何额外参数。

每页限制

由于 Google 最近的限制更改，我们调整了网页爬虫API 的行为。每页最大结果将与 Google 的有机输出匹配，通常为 10 个结果。

要使用此功能，请在 JSON 数组中包含包含以下数据的 JSON 对象：

参数

说明

示例

page

您要抓取的页面编号。任何大于 0 的整数值都可用

1

limit

该页上的结果数。任何介于 1 和 100 （含）之间的整数值都可用。

90

请求示例

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

筛选

用于根据各种条件过滤和细化搜索结果的选项。了解如何使用上下文参数此处.

参数

说明

默认值

context: filter

将此参数的值设置为可让您看到本会因与其他结果相似而被排除的结果。 0 让您看到本会因与其他结果相似而被排除的结果。

1

context: safe_search

安全搜索。设置为以启用它。 true 以启用它。

false

context: udm

udm 此参数允许在不同搜索标签之间切换，例如图像、地点或视频，以自定义显示的结果类型。查找可接受的值此处.

context: tbm

要匹配或 tbm 参数。可接受的值为： app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

此参数类似于包含更晦涩 Google 参数的容器，例如按日期限制/排序结果以及其他某些依赖于的过滤器， tbm 参数（例如 tbs=app_os:1 仅在与一起使用时可用 tbm value app）。更多信息此处.

udm 和 tbm 上下文参数不能在单个抓取请求中一起使用；请仅选择一个。两者同时使用可能导致冲突或意外行为。

其他

用于专门需求的其他高级设置和控制。

参数

说明

默认值

context: fpstate

将 fpstate 的值设置为 aig 将使 Google 加载更多应用。仅在与一起使用时此参数才有用。 render 参数。

context: nfpr

true 将关闭拼写自动更正

false

上下文参数

所有上下文参数应作为对象添加到 context 数组，包含 key 和 value 键值对，例如：

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

数据结构和处理

数据字典

AI Overviews SERP 功能中所有可用的键在下表中定义：

键 (results.ai_overview)

说明

类型

answer_text

有关 Google Search 查询术语的一般信息。

数组

bullet_list

指示在 AI Overviews SERP 功能中以项目符号列表呈现的项目的信息。

数组

products

包含各自详细信息的产品列表。

对象

source_panel

用于生成 Google SERP 功能中 AI Overviews 结果的来源列表。

对象

additional_questions

包含各自详细信息的附加问题列表。

对象

食谱

包含相应详情的食谱列表。

对象

info_list

最常用于表示与搜索查询相关流程步骤的信息列表。

数组

pos_overall

指示 AI Overviews SERP 功能结果在所有可用 Google SERP 结果中的位置。

整数

处理多个 AI Overviews

由于 AI Overviews 现在作为数组返回，您必须对其进行迭代：

// 处理响应中的所有 AI Overviews
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // 处理各个组件
  if (aiOverview.answer_text) {
    // 处理答案文本
  }
  if (aiOverview.bullet_list) {
    // 处理项目符号列表
  }
  // 等等...
});

# 处理响应中的所有 AI Overviews
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # 处理各个组件
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # 处理每个答案文本
            if 'text' in answer:
                for text_item in answer['text']:
                    print(f"Answer text: {text_item}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    print(f"- {point}")
    # 继续处理其他元素...

<?php
// 处理响应中的所有 AI Overviews
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // 处理答案文本
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['text']) && is_array($answer['text'])) {
                    foreach ($answer['text'] as $textItem) {
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // 处理项目符号列表
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        echo "- {$point}\n";
                    }
                }
            }
        }
        // 继续处理其他元素...
    }
}
?>

在大多数情况下，通常只有一个 AI Overview，但您的代码应准备处理多个条目。

在下面按不同搜索查询分类，探索 AI Overviews 结果示例：项目, 食谱, 说明.

项目

在以下示例中，使用了查询 “Emporio Armani EA3192”。

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "Emporio Armani 是一个以其永恒设计和对意大利工艺承诺而闻名的奢侈品牌。",
            "Emporio Armani EA3192 是一款为男性设计的处方眼镜。",
            "它们具有矩形镜框，由低致敏、轻质塑料制成。",
            "镜片具有防紫外线和抗反光功能。",
            "以下是一些来自评论的见解："
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "优点",
          "points": [
            "舒适",
            "品牌标识最小"
          ],
          "pos": 1
        }
      ],
      "products": {
        "items": [
          {
            "product_name": "Emporio Armani 男士眼镜 闪亮黑 尺寸: 53",
            "price": "$163.00",
            "previous_price": null,
            "seller": "Lenscrafters",
            "shipping": "免费配送",
            "url": "https://www.lenscrafters.com/lc-us/emporio-armani/8056597975810?srsltid=AfmBOoqWO55KIJevhQp_c5OAp0JOM_8Uza3_gCvn9S4x4Vz342AUSQewzJI",
            "pos": 1
          }
        ]
      },
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/#:~:text=Emporio%20Armani%20is%20a%20luxury,reinforce%20the%20perception%20of%20luxury.",
            "source": "italist.com",
            "date": "May 5, 2023",
            "title": "What is Emporio Armani and is Emporio Armani a luxury brand?",
            "pos": 1
          },
        ...
        ]
      },
      "additional_questions": {
        "items": [
          {
           "question": "Is Emporio Armani the same as Giorgio Armani?",
           "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ],
...

答案文本

键 (results.ai_overviews.answer_text)

说明

类型

text

对 Google Search 查询的简短回答。

数组

pos

指示给定项目在所有 AI Overviews 答案结果中的位置。

整数

项目符号列表

键 (results.ai_overviews.bullet_list)

说明

类型

list_title

项目符号列表的标题。

字符串

points

在项目符号列表中呈现的条目。所有条目以逗号分隔。

数组

pos

指示给定项目在所有 AI Overviews 项目符号列表结果中的位置。

整数

产品

键 (results.ai_overviews.products)

说明

类型

items

包含各自详细信息的产品列表。

数组

items.product_name

产品名称。

字符串

items.price

产品的当前价格。

字符串

items.previous_price

产品的初始价格（如适用）。

字符串

items.seller

产品的卖家。

字符串

items.shipping

产品可用的运输类型。

字符串

items.url

产品的 URL。

字符串

items.pos

指示给定项目在所有 AI Overviews 产品结果中的位置。

整数

来源面板

键 (results.ai_overviews.source_panel)

说明

类型

items

用于生成 Google SERP 功能中 AI Overviews 结果的来源列表。

对象

items.url

网站的 URL。

字符串

items.source

网站的名称。

字符串

items.date

文章发布的日期。

字符串

items.title

文章的标题。

字符串

items.pos

指示给定项目在所有 AI Overviews 来源面板结果中的位置。

整数

附加问题

键 (results.ai_overviews.additional_questions)

说明

类型

items.question

与原始搜索查询相关的以逗号分隔的附加问题列表。

数组

items.pos

指示给定项目在所有 AI Overviews 附加问题结果中的位置。

整数

食谱

在以下示例中，使用了查询 “recipe for an apple pie”。

...  
 "ai_overviews": [
   {
      "recipes": {
        "items": [
          {
            "description": "这个简单的食谱以自制馅饼皮、格兰尼·史密斯苹果和温暖香料为特色。",
            "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/...",
            "source": "Allrecipes",
            "rating": "4.8",
            "rating_count": "13K",
            "duration": "90 min",
            "url": "https://www.allrecipes.com/recipe/12682/apple-pie-by-grandma-ople/",
            "title": "Apple Pie by Grandma Ople"
          },
...
        ]
      }
    }
  ],
...

食谱

键 (results.ai_overviews.recipes)

说明

类型

items

包含相应详情的食谱列表。

数组

items.description

食谱的简短描述。

字符串

items.image

食谱的 base64 编码缩略图。

字符串

items.source

发布食谱的网站名称。

字符串

items.rating

食谱的评分。

字符串

items.rating_count

评分数量。

字符串

items.duration

准备菜肴所需的时间。

字符串

items.url

完整食谱的 URL。

字符串

items.title

食谱的标题。

字符串

在以下示例中，使用了查询 “recipe of a juicy succulent steak”。

信息列表

键 (results.ai_overviews.info_list)

说明

类型

list_title

列表的标题。

字符串

list_items

包含带各自详细信息的项目列表。

数组

list_items.title

列表中部分的标题。

字符串

list_items.content

该部分的简短描述。

数组

list_item.pos

指示给定项目在所有 AI Overviews 信息列表结果中的位置。

整数

说明

在以下示例中，使用了查询 “docker exec commands explained”。

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "text": [
            "The syntax for the docker exec command is as follows:"
          ],
          "command": [
            "docker exec [OPTIONS] CONTAINER COMMAND [ARG...]"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

答案文本命令

注意：详细信息与一起呈现在相同的数组中， 与项目相关的搜索查询，但是，对于与指令相关的查询类型，会出现一种新键（command）

键 (results.ai_overviews.answer_text)

说明

类型

command

给计算机或软件下达以执行特定任务的指令。

字符串

最后更新于12天前

这有帮助吗？

早上好

AI Overviews 区域可用性

请求示例

请求参数值

通用

Google 高级搜索运算符

本地化

分页

支持连续滚动

每页限制

请求示例

筛选

其他

上下文参数

数据结构和处理

数据字典

处理多个 AI Overviews

项目

答案文本

来源面板

附加问题

食谱

信息列表

说明