AI Overviews

Extraia AI Overviews do Google dos resultados de pesquisa com dados analisados para texto da resposta, listas com marcadores, produtos, receitas, painéis de origem, listas de informações e perguntas adicionais.

O google_search e google_ads as fontes podem retornar AI Overviews dos resultados da Pesquisa Google em todas as regiões globais suportadas. ai_overviews o array de resultados suporta vários blocos de IA em uma única resposta, incluindo seções como “As pessoas também perguntam” e “Coisas para saber.”

Para maximizar a chance de receber o conteúdo de AI Overviews totalmente renderizado, você deve incluir os seguintes parâmetros:

Parâmetro

Valor

source

google_search ou google_ads

render

html

user_agent_type

desktop ou mobile

Usar esses parâmetros também permite receber a resposta geral e o conteúdo de AI Overviews em uma única requisição.

O Google gera esse conteúdo dinamicamente ou carrega uma versão em cache, então as respostas geradas por IA podem variar com o tempo, mesmo com parâmetros idênticos.

Explore dicionário de dados para alguns dos recursos de SERP do AI Overviews.

Disponibilidade regional do AI Overviews

O Google AI Overviews está disponível na maioria dos países, com algumas exceções. Atualmente, os maiores países excluídos são:

França
Mônaco
China
Irã
Sudão
Síria
Cuba
Coreia do Norte

O recurso Google AI Overviews está sendo disponibilizado continuamente, com mais países incluídos ao longo do tempo.

Exemplos de solicitação

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Carga útil atualizada.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# Obtenha a resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Imprima a resposta formatada em stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Usamos o método de integração Realtime síncrona em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção métodos de integração .

Valores dos parâmetros da solicitação

Genérico

Configuração básica e opções de personalização para extrair resultados da Pesquisa Web do Google com AI Overviews.

Parâmetro

Descrição

Valor padrão

source

Define o scraper. Use google_search ou google_ads.

google_search

query

A palavra-chave ou frase para pesquisar.

render

Habilita a renderização de JavaScript quando definido como html. Mais informações.

context: expand_aio

Defina como true para expandir o Google AI Overviews (renderização JavaScript ativada).

false

parse

Retorna dados analisados quando definido como true.

false

callback_url

URL para seu endpoint de callback. Mais informações

user_agent_type

Tipo de dispositivo e navegador. Use desktop ou mobile.

desktop

- parâmetro obrigatório

Operadores avançados de pesquisa do Google

Ao raspar, pode ser útil combinar operadores avançados de pesquisa do Google com sua consulta. Isso permite personalizar o escopo da pesquisa, garantindo que os resultados sejam mais relevantes e focados. Explore estes comandos especiais aqui e aqui. Veja a consulta de exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

Localização

Adapte os resultados de busca para locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros aqui.

locale

valor do cabeçalho Accept-Language Mais informações.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados da pesquisa.

Parâmetro

Descrição

Valor padrão

start_page

Número da página inicial.

1

pages

Número de páginas para recuperar.

1

limit

Número de resultados para recuperar em cada página.

10

context:limit_per_page

Raspe várias páginas usando o mesmo endereço IP e sessão (cookie definido). Ao especificar os números das páginas em um array JSON com a chave page e indicar o número de resultados orgânicos por página usando a chave limit , você pode minimizar a chance de ver resultados orgânicos sobrepostos entre as páginas (por exemplo, o último resultado orgânico na primeira página ser o mesmo que o primeiro resultado orgânico na segunda página). Veja o exemplo.

Suporte a rolagem contínua

A Web Scraper API oferece suporte total ao scroll contínuo da Pesquisa Google. Ela detecta automaticamente layouts de rolagem contínua, carregando com eficiência os resultados orgânicos solicitados sem necessidade de parâmetros extras.

Limite por página

Devido a mudanças recentes nos limites do Google, ajustamos o comportamento da Web Scraper API. O máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

Para usar este recurso, inclua um array JSON com objetos JSON contendo os dados a seguir:

Parâmetro

Descrição

Exemplo

page

O número da página que você deseja raspar. Qualquer valor inteiro maior que 0 funcionará

1

limit

O número de resultados na página em questão. Qualquer valor inteiro entre 1 e 100 (inclusive) funcionará.

90

Exemplo de solicitação

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtragem

Opções para filtrar e refinar os resultados da pesquisa com base em vários critérios. Saiba como usar parâmetros de contexto aqui.

Parâmetro

Descrição

Valor padrão

context: filter

Definir o valor deste parâmetro como 0 permite ver resultados que, de outra forma, seriam excluídos devido à semelhança com outros resultados.

1

context: safe_search

Pesquisa segura. Defina como true para ativá-la.

false

context: udm

udm o parâmetro permite alternar entre diferentes abas de pesquisa, como imagens, locais ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos aqui.

context: tbm

To-be-matched ou tbm parâmetro. Os valores aceitos são: app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

Este parâmetro é como um contêiner para parâmetros mais obscuros do Google, como limitar/ordenar resultados por data, além de outros filtros, alguns dos quais dependem do tbm (por exemplo, tbs=app_os:1 só está disponível com o valor tbm ). Mais informações app. aqui.

udm e tbm os parâmetros de contexto não podem ser usados juntos em uma única solicitação de raspagem; selecione apenas um. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado.

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro

Descrição

Valor padrão

context: fpstate

Definir o valor de fpstate como aig fará o Google carregar mais apps. Este parâmetro só é útil se usado em conjunto com o parâmetro render .

context: nfpr

true desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao array context como objetos com pares key e ). Mais informações , por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Estrutura de dados e processamento

Dicionário de dados

Todas as chaves disponíveis no recurso SERP do AI Overviews estão definidas na tabela abaixo:

Chave (results.ai_overview)

Descrição

Tipo

answer_text

Informações gerais sobre o termo da consulta da Pesquisa Google.

array

bullet_list

Indica informações sobre itens renderizados em uma lista com marcadores no recurso SERP do AI Overviews.

array

products

Uma lista de produtos com seus respectivos detalhes.

object

source_panel

Uma lista de fontes usadas para gerar o resultado do AI Overviews no recurso SERP do Google.

object

additional_questions

Uma lista de perguntas adicionais com seus respectivos detalhes.

object

recipes

Uma lista de receitas com seus respectivos detalhes.

object

info_list

Uma lista de informações mais frequentemente usadas para representar etapas de um processo relevante para a consulta de pesquisa.

array

pos_overall

Uma indicação da posição do resultado do recurso SERP do AI Overviews entre todos os resultados disponíveis da SERP do Google.

integer

Trabalhando com vários AI Overviews

Como os AI Overviews agora são retornados como um array, você precisa iterar por eles:

// Processando todos os AI Overviews em uma resposta
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processando AI Overview #${index + 1}`);
  // Processar componentes individuais
  if (aiOverview.answer_text) {
    // Tratar o texto da resposta
  }
  if (aiOverview.bullet_list) {
    // Tratar listas com marcadores
  }
  // E assim por diante...
});

# Processando todos os AI Overviews em uma resposta
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processando AI Overview #{index + 1}")
    # Processar componentes individuais
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Processar cada texto da resposta
            if 'text' in answer:
                for text_item in answer['text']:
                    print(f"Texto da resposta: {text_item}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"Título da lista: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    print(f"- {point}")
    # Continuar processando outros elementos...

<?php
// Processando todos os AI Overviews em uma resposta
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processando AI Overview #{$indexNumber}\n";
        
        // Processar o texto da resposta
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['text']) && is_array($answer['text'])) {
                    foreach ($answer['text'] as $textItem) {
                        echo "Texto da resposta: {$textItem}\n";
                    }
                }
            }
        }
        
        // Processar listas com marcadores
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "Título da lista: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        echo "- {$point}\n";
                    }
                }
            }
        }
        // Continuar processando outros elementos...
    }
}
?>

Na maioria dos casos, haverá apenas um AI Overview, mas seu código deve estar preparado para lidar com várias entradas.

Explore exemplos de resultados do AI Overviews abaixo, categorizados por diferentes consultas de pesquisa: Item, Receitas, Instrução.

Item

No exemplo a seguir, a consulta "Emporio Armani EA3192" foi usada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "Emporio Armani é uma marca de luxo conhecida por seus designs atemporais e compromisso com a tradição artesanal italiana.",
            "O Emporio Armani EA3192 é um par de óculos de grau projetado para homens.",
            "Eles têm armação retangular feita de plástico leve e hipoalergênico.",
            "As lentes são UV e antirreflexo.",
            "Aqui estão alguns insights das avaliações:"
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Prós",
          "points": [
            "Confortável",
            "Branding mínimo"
          ],
          "pos": 1
        }
      ],
      "products": {
        "items": [
          {
            "product_name": "Emporio Armani Men Eyeglasses Shiny Black Size: 53",
            "price": "$163.00",
            "previous_price": null,
            "seller": "Lenscrafters",
            "shipping": "Entrega grátis",
            "url": "https://www.lenscrafters.com/lc-us/emporio-armani/8056597975810?srsltid=AfmBOoqWO55KIJevhQp_c5OAp0JOM_8Uza3_gCvn9S4x4Vz342AUSQewzJI",
            "pos": 1
          }
        ]
      },
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/#:~:text=Emporio%20Armani%20is%20a%20luxury,reinforce%20the%20perception%20of%20luxury.",
            "source": "italist.com",
            "date": "May 5, 2023",
            "title": "What is Emporio Armani and is Emporio Armani a luxury brand?",
            "pos": 1
          },
        ...
        ]
      },
      "additional_questions": {
        "items": [
          {
           "question": "O Emporio Armani é o mesmo que Giorgio Armani?",
           "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ],
...

Texto da resposta

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

texto

Uma resposta curta para a consulta da Pesquisa Google.

array

pos

Um indicador que denota a posição de um determinado item entre todos os resultados de resposta do AI Overviews.

integer

Lista com marcadores

Chave (results.ai_overviews.bullet_list)

Descrição

Tipo

list_title

O título da lista com marcadores.

string

points

Os itens renderizados na lista com marcadores. Todos os itens são separados por vírgulas.

array

pos

Um indicador que denota a posição de um determinado item entre todos os resultados da lista com marcadores do AI Overviews.

integer

Produtos

Chave (results.ai_overviews.products)

Descrição

Tipo

itens

Uma lista de produtos com seus respectivos detalhes.

array

items.product_name

O nome do produto.

string

items.price

O preço atual do produto.

string

items.previous_price

O preço inicial do produto (se aplicável).

string

items.seller

O vendedor do produto.

string

items.shipping

O tipo de frete disponível para o produto.

string

items.url

A URL do produto.

string

items.pos

Um indicador que denota a posição de um determinado item entre todos os resultados de Produtos do AI Overviews.

integer

Painel de fontes

Chave (results.ai_overviews.source_panel)

Descrição

Tipo

itens

Uma lista de fontes usadas para gerar o resultado do AI Overviews no recurso SERP do Google.

object

items.url

A URL do site.

string

items.source

O nome do site.

string

items.date

A data em que o artigo foi publicado.

string

items.title

O título do artigo.

string

items.pos

Um indicador que denota a posição de um determinado item entre todos os resultados do painel de fontes do AI Overviews.

integer

Perguntas adicionais

Chave (results.ai_overviews.additional_questions)

Descrição

Tipo

items.question

Uma lista de perguntas adicionais separadas por vírgulas e relevantes para a consulta de pesquisa original.

array

items.pos

Um indicador que denota a posição de um determinado item entre todos os resultados de perguntas adicionais do AI Overviews.

integer

Receita

No exemplo a seguir, a consulta "recipe for an apple pie" foi usada.

...  
 "ai_overviews": [
   {
      "recipes": {
        "items": [
          {
            "description": "Esta receita simples apresenta uma massa caseira, maçãs Granny Smith e especiarias quentes.",
            "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/...",
            "source": "Allrecipes",
            "rating": "4.8",
            "rating_count": "13K",
            "duration": "90 min",
            "url": "https://www.allrecipes.com/recipe/12682/apple-pie-by-grandma-ople/",
            "title": "Apple Pie by Grandma Ople"
          },
...
        ]
      }
    }
  ],
...

Receitas

Chave (results.ai_overviews.recipes)

Descrição

Tipo

itens

Uma lista de receitas com seus respectivos detalhes.

array

items.description

Uma breve descrição da receita.

string

items.image

Uma imagem miniatura da receita codificada em base64.

string

items.source

O nome do site onde a receita é publicada.

string

items.rating

A classificação da receita.

string

items.rating_count

O número de avaliações.

string

items.duration

O tempo necessário para preparar o prato.

string

items.url

A URL da receita completa.

string

items.title

O título da receita.

string

No exemplo a seguir, a consulta "recipe of a juicy succulent steak" foi usada.

Lista de informações

Chave (results.ai_overviews.info_list)

Descrição

Tipo

list_title

O título da lista.

string

list_items

Contém uma lista de itens com seus respectivos detalhes.

array

list_items.title

O título da seção dentro da lista.

string

list_items.content

Uma breve descrição da seção.

array

list_item.pos

Um indicador que denota a posição de um determinado item entre todos os resultados da lista de informações do AI Overviews.

integer

Instrução

No exemplo a seguir, a consulta "docker exec commands explained" foi usada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software.",
          ],
          "pos": 1
        },
        {
          "text": [
            "The syntax for the docker exec command is as follows:",
          ],
          "command": [
            "docker exec [OPTIONS] CONTAINER COMMAND [ARG...]"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

Comando no texto da resposta

Observação: os detalhes são renderizados no mesmo array que para item related search query, porém, um novo tipo de chave (command) aparece para o tipo de consulta relacionado a instruções

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

command

Uma instrução dada a um computador ou software para executar uma tarefa específica.

string

AnteriorModo IA PróximoAds Max

Atualizado há 24 dias

Isto foi útil?