AI Overviews

Aprenda como você pode extrair AI Overviews com a Web Scraper API. Encontre exemplos de código e parâmetros suportados.

O google_search e google_ads as fontes podem retornar AI Overviews (AI Overviews) dos resultados do Google Search em todas as regiões globais suportadas. ai_overviews o array de resultados suporta múltiplos blocos de IA em uma única resposta, incluindo seções como “People also ask” e “Things to know.”

Para maximizar a chance de receber o conteúdo totalmente renderizado dos AI Overviews, você deve incluir os seguintes parâmetros:

Parâmetro

Valor

source

google_search ou google_ads

render

html

user_agent_type

desktop ou mobile

Usar esses parâmetros também permite receber tanto a resposta geral quanto o conteúdo dos AI Overviews com uma única requisição.

O Google gera esse conteúdo dinamicamente ou carrega uma versão em cache, então respostas geradas por IA podem variar ao longo do tempo, mesmo com parâmetros idênticos.

Explorar dicionário de dados de saída para alguns dos recursos SERP dos AI Overviews.

Disponibilidade regional dos AI Overviews

Os AI Overviews do Google estão disponíveis na maioria dos países, com algumas exceções. Atualmente os maiores países excluídos são:

França
China
Irã
Coreia do Norte

O recurso AI Overviews do Google está sendo lançado continuamente, com mais países sendo incluídos ao longo do tempo.

Exemplos de requisição

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Payload atualizado.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Imprimir a resposta formatada no stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Usamos Realtime método de integração em nossos exemplos. Se você quiser usar Proxy Endpoint ou assíncrona Push-Pull integração, consulte o métodos de integração seção.

Valores dos parâmetros da requisição

Genérico

Configuração básica e opções de customização para raspagem (scraping) dos resultados de busca Web do Google com AI Overviews.

Parâmetro

Descrição

Valor Padrão

source

Define o scraper. Use google_search ou google_ads.

google_search

query

A palavra-chave ou frase a ser pesquisada.

render

Ativa a renderização JavaScript quando definido como html. Mais informações.

parse

Retorna dados analisados quando definido como true.

false

callback_url

URL para seu endpoint de callback. Mais informações.

user_agent_type

Tipo de dispositivo e navegador. Use desktop ou mobile.

desktop

- parâmetro obrigatório

Operadores avançados de busca do Google

Ao raspar, pode ser útil combinar operadores avançados de busca do Google com sua consulta. Isso permite personalizar o escopo da busca, garantindo resultados mais relevantes e focados. Explore esses comandos especiais aqui e aqui. Veja o exemplo de query abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

Localização

Adapte os resultados da pesquisa a locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor Padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetro aqui.

locale

Accept-Language valor do cabeçalho que altera o idioma da interface da página de pesquisa do Google. Mais informações.

context: results_language

Idioma dos resultados. A lista de idiomas do Google suportados pode ser encontrada aquiPaginação aqui.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados de pesquisa.

Parâmetro

Descrição

Valor Padrão

start_page

Número da página inicial.

1

pages

Número de páginas a serem recuperadas.

1

limit

Número de resultados a recuperar em cada página.

10

context:Raspe várias páginas usando o mesmo endereço IP e sessão (conjunto de cookies). Especificando os números de página em um array JSON com a

page chave e indicando o número de resultados orgânicos por página usando a chave, você pode minimizar a chance de ver resultados orgânicos sobrepostos entre páginas (por exemplo, o último resultado orgânico da primeira página sendo o mesmo que o primeiro resultado orgânico da segunda página). limit Veja o exemplo Suporte a rolagem contínua.

A Web Scraper API oferece suporte total à rolagem contínua da Pesquisa do Google. Ela detecta automaticamente layouts de rolagem contínua, carregando de forma eficiente os resultados orgânicos solicitados sem parâmetros extras necessários.

A Web Scraper API suporta totalmente o scroll contínuo do Google Search. Ela detecta automaticamente layouts de rolagem contínua, carregando eficientemente os resultados orgânicos solicitados sem parâmetros extras necessários.

Devido a mudanças recentes nos limites do Google, ajustamos o comportamento da Web Scraper API. O máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

Para usar esse recurso, inclua um array JSON com objetos JSON contendo os seguintes dados:

Exemplo

Parâmetro

Descrição

O número da página que você gostaria de raspar. Qualquer valor inteiro maior que

chave e indicando o número de resultados orgânicos por página usando a

funcionará 0 O número de resultados na página em questão. Qualquer valor inteiro entre

1

limit

(inclusivo) funcionará. 1 e 100 Exemplo de requisição

90

"key": "limit_per_page",

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "value": [
            {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                Filtragem
                    ]
        }]
}

Opções para filtrar e refinar resultados de busca com base em vários critérios. Aprenda a usar parâmetros de contexto

filter aqui.

Parâmetro

Descrição

Valor Padrão

context: Definir o valor deste parâmetro para

permite ver resultados que, de outra forma, seriam excluídos devido à similaridade com outros resultados. 0 safe_search

1

context: Pesquisa segura. Defina como

para habilitá-la. true udm

false

context: o parâmetro permite alternar entre diferentes guias de busca, como imagens, locais ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos

o parâmetro permite alternar entre diferentes guias de busca, como imagens, locais ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos tbm aqui.

context: Parâmetro to-be-matched ou

Aceita valores: Parâmetro to-be-matched ou app blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl, tbs

context: Este parâmetro é como um contêiner para parâmetros do Google mais obscuros, como limitar/ordenar resultados por data, além de outros filtros, alguns dos quais dependem do

Esse parâmetro funciona como um contêiner para parâmetros mais obscuros do Google, como limitar/ordenar resultados por data, além de outros filtros, alguns dos quais dependem do Parâmetro to-be-matched ou tbs=app_os:1 só está disponível com value Parâmetro to-be-matched ou value blgos parâmetros de contexto não podem ser usados juntos em uma única requisição de scraping; por favor selecione apenas um. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado. aqui.

o parâmetro permite alternar entre diferentes guias de busca, como imagens, locais ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos e Parâmetro to-be-matched ou Outros

Outros

Configurações avançadas adicionais e controles para requisitos especializados.

Parâmetro

Descrição

Valor Padrão

context: Definir o

valor para Definir o aig fará o Google carregar mais apps. Este parâmetro só é útil se usado junto com o parâmetro. render nfpr

context: nfpr

true desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao context array como objetos com key e value pares, por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Estrutura de dados e processamento

Dicionário de dados

Todas as chaves disponíveis dentro do recurso SERP AI Overviews estão definidas na tabela abaixo:

Chave (results.ai_overview)

Descrição

Tipo

answer_text

Informação geral sobre o termo de busca do Google Search.

array

bullet_list

Indica informações sobre itens renderizados em uma lista com marcadores dentro do recurso SERP AI Overviews.

array

products

Uma lista de produtos com seus respectivos detalhes.

object

source_panel

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

object

additional_questions

Uma lista de perguntas adicionais com seus respectivos detalhes.

object

recipes

Uma lista de receitas com seus respectivos detalhes.

object

info_list

Uma lista de informações usada com mais frequência para representar passos de um processo relevante para a consulta de busca.

array

pos_overall

Uma indicação da posição do resultado do recurso SERP AI Overviews entre todos os resultados disponíveis do Google SERP.

integer

Trabalhando com múltiplos AI Overviews

Como os AI Overviews agora são retornados como um array, você precisa iterar sobre eles:

// Processando todos os AI Overviews em uma resposta
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // Processar componentes individuais
  if (aiOverview.answer_text) {
    // Tratar texto da resposta
  }
  if (aiOverview.bullet_list) {
    // Tratar listas com marcadores
  }
  // E assim por diante...
});

# Processando todos os AI Overviews em uma resposta
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # Processar componentes individuais
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Processar cada texto de resposta
            if 'text' in answer:
                for text_item in answer['text']:
                    print(f"Answer text: {text_item}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    print(f"- {point}")
    # Continue processando outros elementos...

<?php
// Processando todos os AI Overviews em uma resposta
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // Processar texto da resposta
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['text']) && is_array($answer['text'])) {
                    foreach ($answer['text'] as $textItem) {
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // Processar listas com marcadores
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        echo "- {$point}\n";
                    }
                }
            }
        }
        // Continue processando outros elementos...
    }
}
?>

Na maioria dos casos, haverá apenas um AI Overview, mas seu código deve estar preparado para lidar com múltiplas entradas.

Explore exemplos de resultados dos AI Overviews abaixo, categorizados por diferentes consultas de busca: Item, Recipes, Instrução.

Item

No exemplo a seguir, a query "Emporio Armani EA3192" foi utilizada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "Emporio Armani é uma marca de luxo conhecida por seus designs atemporais e compromisso com o artesanato italiano.",
            "O Emporio Armani EA3192 é um par de óculos de grau projetado para homens.",
            "Eles têm uma armação retangular feita de plástico hipoalergênico e leve.",
            "As lentes são UV e antirreflexo.",
            "Aqui estão alguns insights de avaliações:"
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Prós",
          "points": [
            "Confortável",
            "Marca mínima"
          ],
          "pos": 1
        }
      ],
      "products": {
        "items": [
          {
            "product_name": "Emporio Armani Men Eyeglasses Shiny Black Size: 53",
            "price": "$163.00",
            "previous_price": null,
            "seller": "Lenscrafters",
            "shipping": "Free delivery",
            "url": "https://www.lenscrafters.com/lc-us/emporio-armani/8056597975810?srsltid=AfmBOoqWO55KIJevhQp_c5OAp0JOM_8Uza3_gCvn9S4x4Vz342AUSQewzJI",
            "pos": 1
          }
        ]
      },
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/#:~:text=Emporio%20Armani%20is%20a%20luxury,reinforce%20the%20perception%20of%20luxury.",
            "source": "italist.com",
            "date": "May 5, 2023",
            "title": "What is Emporio Armani and is Emporio Armani a luxury brand?",
            "pos": 1
          },
        ...
        ]
      },
      "additional_questions": {
        "items": [
          {
           "question": "Is Emporio Armani the same as Giorgio Armani?",
           "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ],
...

Texto da resposta

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

texto

Uma resposta curta para a consulta do Google Search.

array

pos

Um indicador que denota a posição de um item entre todos os resultados de resposta dos AI Overviews.

integer

Lista com marcadores

Chave (results.ai_overviews.bullet_list)

Descrição

Tipo

list_title

O título da lista com marcadores.

string

points

Os itens renderizados na lista com marcadores. Todos os itens são separados por vírgula.

array

pos

Um indicador que denota a posição de um item entre todos os resultados de lista com marcadores dos AI Overviews.

integer

Produtos

Chave (results.ai_overviews.products)

Descrição

Tipo

itens

Uma lista de produtos com seus respectivos detalhes.

array

items.product_name

O nome do produto.

string

items.price

O preço atual do produto.

string

items.previous_price

O preço inicial do produto (se aplicável).

string

items.seller

O vendedor do produto.

string

items.shipping

O tipo de frete disponível para o produto.

string

items.url

A URL do produto.

string

items.pos

Um indicador que denota a posição de um item entre todos os resultados de Produto dos AI Overviews.

integer

Painel de fonte

Chave (results.ai_overviews.source_panel)

Descrição

Tipo

itens

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

object

items.url

A URL do site.

string

items.source

O nome do site.

string

items.date

A data em que o artigo foi publicado.

string

items.title

O título do artigo.

string

items.pos

Um indicador que denota a posição de um item entre todos os resultados do painel de fonte dos AI Overviews.

integer

Perguntas adicionais

Chave (results.ai_overviews.additional_questions)

Descrição

Tipo

items.question

Uma lista de Perguntas adicionais separadas por vírgula relevantes para a consulta de busca original.

array

items.pos

Um indicador que denota a posição de um item entre todos os resultados de perguntas adicionais dos AI Overviews.

integer

Receita

No exemplo a seguir, a query "recipe for an apple pie" foi utilizada.

...  
 "ai_overviews": [
   {
      "recipes": {
        "items": [
          {
            "description": "This simple recipe features a homemade crust, Granny Smith apples, and warm spices.",
            "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/...",
            "source": "Allrecipes",
            "rating": "4.8",
            "rating_count": "13K",
            "duration": "90 min",
            "url": "https://www.allrecipes.com/recipe/12682/apple-pie-by-grandma-ople/",
            "title": "Apple Pie by Grandma Ople"
          },
...
        ]
      }
    }
  ],
...

Recipes

Chave (results.ai_overviews.recipes)

Descrição

Tipo

itens

Uma lista de receitas com seus respectivos detalhes.

array

items.description

Uma descrição curta da receita.

string

items.image

Uma imagem em miniatura da receita codificada em base64.

string

items.source

O nome do site onde a receita está publicada.

string

items.rating

A avaliação da receita.

string

items.rating_count

O número de avaliações.

string

items.duration

O tempo necessário para preparar o prato.

string

items.url

O URL para a receita completa.

string

items.title

O título da receita.

string

No exemplo a seguir, a query "recipe of a juicy succulent steak" foi utilizada.

Lista de informações

Chave (results.ai_overviews.info_list)

Descrição

Tipo

list_title

O título da lista.

string

list_items

Contém uma lista de itens com seus respectivos detalhes.

array

list_items.title

O título da seção dentro da lista.

string

list_items.content

Uma descrição curta da seção.

array

list_item.pos

Um indicador que denota a posição de um item entre todos os resultados da Lista de informações dos AI Overviews.

integer

Instrução

No exemplo a seguir, a query "docker exec commands explained" foi utilizada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "text": [
            "The syntax for the docker exec command is as follows:"
          ],
          "command": [
            "docker exec [OPTIONS] CONTAINER COMMAND [ARG...]"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

Comando de texto de resposta

Nota: os detalhes são renderizados no mesmo array que para consulta de pesquisa relacionada ao item, no entanto, um novo tipo de chave (command) aparece para consultas do tipo instrução

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

command

Uma instrução dada a um computador ou software para executar uma tarefa específica.

string

AnteriorModo AI PróximoAds Max

Atualizado há 2 dias

Isto foi útil?

Boa tarde

hashtagDisponibilidade regional dos AI Overviews

hashtagExemplos de requisição

hashtagValores dos parâmetros da requisição

hashtagGenérico

hashtagOperadores avançados de busca do Google

hashtagLocalização

hashtagPaginação

hashtagA Web Scraper API oferece suporte total à rolagem contínua da Pesquisa do Google. Ela detecta automaticamente layouts de rolagem contínua, carregando de forma eficiente os resultados orgânicos solicitados sem parâmetros extras necessários.

hashtagDevido a mudanças recentes nos limites do Google, ajustamos o comportamento da Web Scraper API. O máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

hashtag"key": "limit_per_page",

hashtagOpções para filtrar e refinar resultados de busca com base em vários critérios. Aprenda a usar parâmetros de contexto

hashtagOutros

hashtagParâmetros de contexto

hashtagEstrutura de dados e processamento

hashtagDicionário de dados

hashtagTrabalhando com múltiplos AI Overviews

hashtagItem

hashtagTexto da resposta

hashtagPainel de fonte

hashtagPerguntas adicionais

hashtagReceita

hashtagLista de informações

hashtagInstrução

Disponibilidade regional dos AI Overviews

Exemplos de requisição

Valores dos parâmetros da requisição

Genérico

Operadores avançados de busca do Google

Localização

Paginação

A Web Scraper API oferece suporte total à rolagem contínua da Pesquisa do Google. Ela detecta automaticamente layouts de rolagem contínua, carregando de forma eficiente os resultados orgânicos solicitados sem parâmetros extras necessários.

Devido a mudanças recentes nos limites do Google, ajustamos o comportamento da Web Scraper API. O máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

"key": "limit_per_page",

Opções para filtrar e refinar resultados de busca com base em vários critérios. Aprenda a usar parâmetros de contexto

Outros

Parâmetros de contexto

Estrutura de dados e processamento

Dicionário de dados

Trabalhando com múltiplos AI Overviews

Item

Texto da resposta

Painel de fonte

Perguntas adicionais

Receita

Lista de informações

Instrução