AI Overviews

Saiba como você pode extrair AI Overviews com a Web Scraper API. Encontre exemplos de código e parâmetros suportados.

O google_search e google_ads as fontes podem retornar AI Overviews a partir dos resultados do Google Search em todas as regiões globais suportadas. ai_overviews o array results suporta múltiplos blocos de IA em uma única resposta, incluindo seções como “People also ask” e “Things to know.”

Para maximizar a chance de receber conteúdo totalmente renderizado de AI Overviews, você deve incluir os seguintes parâmetros:

Parâmetro

Valor

source

google_search ou google_ads

render

html

user_agent_type

desktop ou pesquisa

Usar esses parâmetros também permite receber tanto a resposta geral quanto o conteúdo de AI Overviews com uma única solicitação.

O Google gera esse conteúdo dinamicamente ou carrega uma versão em cache, então respostas geradas por IA podem variar ao longo do tempo, mesmo com parâmetros idênticos.

Explorar dicionário de dados para alguns dos recursos de SERP do AI Overviews.

Disponibilidade regional do AI Overviews

Os AI Overviews do Google estão disponíveis na maioria dos países, com algumas exceções. Atualmente os maiores países excluídos são:

França
China
Irã
Coreia do Norte

O recurso AI Overviews do Google está sendo implementado continuamente, com mais países sendo incluídos ao longo do tempo.

Amostras de requisição

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Payload atualizado.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Imprimir a resposta formatada no stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Usamos o método de integração síncrono Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull consulte os métodos de integração da seção.

Valores dos parâmetros da requisição

Genérico

Configuração básica e opções de personalização para raspar resultados da pesquisa web do Google com AI Overviews.

Parâmetro

Descrição

Valor Padrão

source

Define o scraper. Use google_search ou google_ads.

google_search

query

A palavra-chave ou frase a ser pesquisada.

render

Ativa a renderização JavaScript quando definido como html. Mais info.

parse

Retorna dados parseados quando definido como true.

false

callback_url

URL para o seu endpoint de callback. Mais info.

user_agent_type

Tipo de dispositivo e navegador. Use desktop ou pesquisa.

desktop

- parâmetro obrigatório

Operadores Avançados de Pesquisa do Google

Ao raspar, pode ser útil combinar operadores avançados de pesquisa do Google com sua query. Isso permite personalizar o escopo da busca, garantindo que os resultados sejam mais relevantes e focados. Explore esses comandos especiais aqui e aqui. Veja a query de exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

Localização

Adapte os resultados da pesquisa a localizações geográficas, domínios e idiomas específicos.

Parâmetro

Descrição

Valor Padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas sugeridas geo_location estruturas de parâmetro aqui.

domínio

Localização de domínio para o Google. A lista completa de domínios disponíveis pode ser encontrada aqui.

com

locale

Accept-Language valor do cabeçalho que altera o idioma da interface web da sua página de pesquisa do Google. Mais info.

context: results_language

Idioma dos resultados. A lista de idiomas suportados pelo Google pode ser encontrada aqui. Aprenda como usar parâmetros de contexto aqui.

Paginação

Controles para gerenciar a paginação e recuperação dos resultados de pesquisa.

Parâmetro

Descrição

Valor Padrão

start_page

Número da página inicial.

1

pages

Número de páginas a recuperar.

1

limit

Número de resultados a recuperar em cada página.

10

context:limit_per_page

Raspe múltiplas páginas usando o mesmo endereço IP e sessão (conjunto de cookies). Especificando os números das páginas em um array JSON com a page chave e indicando o número de resultados orgânicos por página usando a limit chave, você pode minimizar a chance de ver resultados orgânicos sobrepostos entre páginas (por exemplo, o último resultado orgânico da primeira página sendo o mesmo que o primeiro da segunda página). Veja exemplo.

Suporte a rolagem contínua

A Web Scraper API oferece suporte completo ao scroll contínuo do Google Search. Ela detecta automaticamente layouts de rolagem contínua, carregando eficientemente os resultados orgânicos solicitados sem parâmetros extras.

Limite por página

Devido a mudanças recentes nos limites do Google, ajustamos o comportamento da Web Scraper API. O máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

Para usar esse recurso, inclua um array JSON com objetos JSON contendo os seguintes dados:

Parâmetro

Descrição

Exemplo

page

O número da página que você gostaria de raspar. Qualquer valor inteiro maior que 0 funcionará

1

limit

O número de resultados na página em questão. Qualquer valor inteiro entre 1 e 100 (inclusivo) funcionará.

90

Solicitar exemplo

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtragem

Opções para filtrar e refinar resultados de pesquisa com base em vários critérios. Aprenda como usar parâmetros de contexto aqui.

Parâmetro

Descrição

Valor Padrão

context: filter

Definir o valor deste parâmetro como 0 permite ver resultados que seriam excluídos devido à similaridade com outros resultados.

1

context: safe_search

Safe search. Defina como true para habilitá-lo.

false

context: udm

udm parâmetro permite alternar entre diferentes abas de pesquisa, como imagens, lugares ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos aqui.

context: tbm

A ser correspondido ou tbm parâmetro. Os valores aceitos são: app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

Este parâmetro é como um contêiner para parâmetros mais obscuros do Google, como limitar/ordenar resultados por data, bem como outros filtros, alguns dos quais dependem do tbm parâmetro (por exemplo tbs=app_os:1 só está disponível com tbm value app). Mais informações aqui.

udm e tbm parâmetros de contexto não podem ser usados juntos em uma única solicitação de scraping; selecione apenas um. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado.

Outros

Configurações avançadas adicionais e controles para requisitos especializados.

Parâmetro

Descrição

Valor Padrão

context: fpstate

Definir o fpstate valor para aig fará o Google carregar mais apps. Este parâmetro só é útil se usado junto com o render parâmetro.

context: nfpr

true desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao context array como objetos com key e value pares, por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Estrutura e processamento de dados

Dicionário de dados

Todas as chaves disponíveis dentro do recurso AI Overviews SERP são definidas na tabela abaixo:

Chave (results.ai_overview)

Descrição

Tipo

answer_text

Informação geral sobre o termo de busca do Google Search.

array

bullet_list

Indica informações sobre itens exibidos em uma lista com marcadores dentro do recurso AI Overviews SERP.

array

products

Uma lista de produtos com seus respectivos detalhes.

object

source_panel

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

object

additional_questions

Uma lista de perguntas adicionais com seus respectivos detalhes.

object

receitas

Uma lista de receitas com seus respectivos detalhes.

object

info_list

Uma lista de informações usada com mais frequência para representar etapas de um processo relevante para a consulta de pesquisa.

array

pos_overall

Uma indicação da posição do resultado do recurso AI Overviews entre todos os resultados disponíveis do Google SERP.

integer

Trabalhando com múltiplos AI Overviews

Como os AI Overviews agora são retornados como um array, você precisa iterar sobre eles:

// Processando todos os AI Overviews em uma resposta
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // Processar componentes individuais
  if (aiOverview.answer_text) {
    // Lidar com o texto da resposta
  }
  if (aiOverview.bullet_list) {
    // Lidar com listas com marcadores
  }
  // E assim por diante...
});

# Processando todos os AI Overviews em uma resposta
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # Processar componentes individuais
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Processar cada texto de resposta
            if 'text' in answer:
                for text_item in answer['text']:
                    print(f"Answer text: {text_item}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    print(f"- {point}")
    # Continue processando outros elementos...

<?php
// Processando todos os AI Overviews em uma resposta
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // Processar texto da resposta
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['text']) && is_array($answer['text'])) {
                    foreach ($answer['text'] as $textItem) {
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // Processar listas com marcadores
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        echo "- {$point}\n";
                    }
                }
            }
        }
        // Continue processando outros elementos...
    }
}
?>

Na maioria dos casos, haverá apenas um AI Overview, mas seu código deve estar preparado para lidar com múltiplas entradas.

Explore exemplos de resultados de AI Overviews abaixo, categorizados por diferentes consultas de pesquisa: Item, Receitas, Instrução.

Item

No exemplo a seguir, a consulta "Emporio Armani EA3192" foi usada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "Emporio Armani is a luxury brand known for its timeless designs and commitment to Italian craftsmanship.",
            "The Emporio Armani EA3192 is a pair of prescription glasses that are designed for men.",
            "They have a rectangular frame that is made from hypoallergenic, lightweight plastic.",
            "The lenses are UV and anti-reflective.",
            "Here are some insights from reviews:"
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Pros",
          "points": [
            "Comfortable",
            "Minimal branding"
          ],
          "pos": 1
        }
      ],
      "products": {
        "items": [
          {
            "product_name": "Emporio Armani Men Eyeglasses Shiny Black Size: 53",
            "price": "$163.00",
            "previous_price": null,
            "seller": "Lenscrafters",
            "shipping": "Free delivery",
            "url": "https://www.lenscrafters.com/lc-us/emporio-armani/8056597975810?srsltid=AfmBOoqWO55KIJevhQp_c5OAp0JOM_8Uza3_gCvn9S4x4Vz342AUSQewzJI",
            "pos": 1
          }
        ]
      },
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/#:~:text=Emporio%20Armani%20is%20a%20luxury,reinforce%20the%20perception%20of%20luxury.",
            "source": "italist.com",
            "date": "May 5, 2023",
            "title": "What is Emporio Armani and is Emporio Armani a luxury brand?",
            "pos": 1
          },
        ...
        ]
      },
      "additional_questions": {
        "items": [
          {
           "question": "Is Emporio Armani the same as Giorgio Armani?",
           "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ],
...

Texto da resposta

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

texto

Uma resposta curta à consulta do Google Search.

array

pos

Um indicador que denota a posição de um item entre todos os resultados de resposta do AI Overviews.

integer

Lista com marcadores

Chave (results.ai_overviews.bullet_list)

Descrição

Tipo

list_title

O título da lista com marcadores.

string

points

Os itens exibidos na lista com marcadores. Todos os itens são separados por vírgula.

array

pos

Um indicador que denota a posição de um item entre todos os resultados de listas com marcadores do AI Overviews.

integer

Produtos

Chave (results.ai_overviews.products)

Descrição

Tipo

items

Uma lista de produtos com seus respectivos detalhes.

array

items.product_name

O nome do produto.

string

items.price

O preço atual do produto.

string

items.previous_price

O preço inicial do produto (se aplicável).

string

items.seller

O vendedor do produto.

string

items.shipping

O tipo de frete disponível para o produto.

string

items.url

A URL do produto.

string

items.pos

Um indicador que denota a posição de um item entre todos os resultados de Produtos do AI Overviews.

integer

Painel de fontes

Chave (results.ai_overviews.source_panel)

Descrição

Tipo

items

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

object

items.url

A URL do site.

string

items.source

O nome do site.

string

items.date

A data em que o artigo foi publicado.

string

items.title

O título do artigo.

string

items.pos

Um indicador que denota a posição de um item entre todos os resultados do painel de fontes do AI Overviews.

integer

Perguntas adicionais

Chave (results.ai_overviews.additional_questions)

Descrição

Tipo

items.question

Uma lista de Perguntas Adicionais separadas por vírgula relevantes para a consulta de busca original.

array

items.pos

Um indicador que denota a posição de um item entre todos os resultados de perguntas adicionais do AI Overviews.

integer

Receita

No exemplo a seguir, a consulta "recipe for an apple pie" foi usada.

...  
 "ai_overviews": [
   {
      "recipes": {
        "items": [
          {
            "description": "This simple recipe features a homemade crust, Granny Smith apples, and warm spices.",
            "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/...",
            "source": "Allrecipes",
            "rating": "4.8",
            "rating_count": "13K",
            "duration": "90 min",
            "url": "https://www.allrecipes.com/recipe/12682/apple-pie-by-grandma-ople/",
            "title": "Apple Pie by Grandma Ople"
          },
...
        ]
      }
    }
  ],
...

Receitas

Chave (results.ai_overviews.recipes)

Descrição

Tipo

items

Uma lista de receitas com seus respectivos detalhes.

array

items.description

Uma breve descrição da receita.

string

items.image

Uma imagem em miniatura codificada em base64 da receita.

string

items.source

O nome do site onde a receita é publicada.

string

items.rating

A avaliação da receita.

string

items.rating_count

O número de avaliações.

string

items.duration

O tempo necessário para preparar o prato.

string

items.url

A URL para a receita completa.

string

items.title

O título da receita.

string

No exemplo a seguir, a consulta "recipe of a juicy succulent steak" foi usada.

Lista de informações

Chave (results.ai_overviews.info_list)

Descrição

Tipo

list_title

O título da lista.

string

list_items

Contém uma lista de itens com seus respectivos detalhes.

array

list_items.title

O título da seção dentro da lista.

string

list_items.content

Uma breve descrição da seção.

array

list_item.pos

Um indicador que denota a posição de um item entre todos os resultados da Lista de Informações do AI Overviews.

integer

Instrução

No exemplo a seguir, a consulta "docker exec commands explained" foi usada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "The docker execExec In computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "text": [
            "The syntax for the docker exec command is as follows:"
          ],
          "command": [
            "docker exec [OPTIONS] CONTAINER COMMAND [ARG...]"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

Comando de texto de resposta

Observação: os detalhes são renderizados no mesmo array que para consulta relacionada ao item, no entanto, um novo tipo de chave (command) aparece para consultas do tipo instrução

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

command

Uma instrução dada a um computador ou software para executar uma tarefa específica.

string

AnteriorModo AI PróximoAds Max

Atualizado há 1 mês

Isto foi útil?

Boa noite

hashtagDisponibilidade regional do AI Overviews

hashtagAmostras de requisição

hashtagValores dos parâmetros da requisição

hashtagGenérico

hashtagOperadores Avançados de Pesquisa do Google

hashtagLocalização

hashtagPaginação

hashtagSuporte a rolagem contínua

hashtagLimite por página

hashtagSolicitar exemplo

hashtagFiltragem

hashtagOutros

hashtagParâmetros de contexto

hashtagEstrutura e processamento de dados

hashtagDicionário de dados

hashtagTrabalhando com múltiplos AI Overviews

hashtagItem

hashtagTexto da resposta

hashtagPainel de fontes

hashtagPerguntas adicionais

hashtagReceita

hashtagLista de informações

hashtagInstrução

Disponibilidade regional do AI Overviews

Amostras de requisição

Valores dos parâmetros da requisição

Genérico

Operadores Avançados de Pesquisa do Google

Localização

Paginação

Suporte a rolagem contínua

Limite por página

Solicitar exemplo

Filtragem

Outros

Parâmetros de contexto

Estrutura e processamento de dados

Dicionário de dados

Trabalhando com múltiplos AI Overviews

Item

Texto da resposta

Painel de fontes

Perguntas adicionais

Receita

Lista de informações

Instrução