AI Overviews

Extraia AI Overviews dos resultados de busca com dados parseados para texto de resposta, listas com marcadores, painéis de fontes e listas de informações.

O google_search e google_ads sources podem retornar AI Overviews dos resultados da Pesquisa Google em todas as regiões globais suportadas. ai_overviews o array de resultados suporta vários blocos de IA em uma única resposta, incluindo seções como “As pessoas também perguntam” e “Coisas para saber.”

Para maximizar a chance de receber o conteúdo dos AI Overviews totalmente renderizado, você deve incluir os seguintes parâmetros:

Parâmetro

Valor

source

google_search ou google_ads

render

html

user_agent_type

desktop ou mobile

Usar esses parâmetros também permite receber tanto a resposta geral quanto o conteúdo dos AI Overviews com uma única solicitação.

O Google gera dinamicamente este conteúdo ou carrega uma versão em cache, então as respostas geradas por IA podem variar ao longo do tempo, mesmo com parâmetros idênticos.

Explorar dicionário de dados para alguns dos recursos SERP do AI Overviews.

Disponibilidade regional do AI Overviews

O Google AI Overviews está disponível na maioria dos países, com algumas exceções. Atualmente, os maiores países excluídos são:

França
Mônaco
China
Irã
Sudão
Síria
Cuba
Coreia do Norte

O recurso Google AI Overviews está sendo disponibilizado continuamente, com mais países incluídos ao longo do tempo.

Exemplos de requisição

Abaixo estão exemplos de código usando google_search a fonte Web Scraper API para capturar AI Overviews do Google.

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Payload atualizado.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

https://realtime.oxylabs.io/v1/queries?source=google_search&query=Emporio%20Armani%20EA3192&render=html&user_agent_type=desktop&access_token=12345abcde

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "desktop"
}

Usamos o método de integração síncrona Realtime método de integração em nossos exemplos. Se você quiser usar Proxy Endpoint ou assíncrono Push-Pull de integração, consulte a métodos de integração seção.

Trabalhando com vários AI Overviews

Como os AI Overviews agora são retornados como um array, você precisa iterar por eles:

// Processando todos os AI Overviews em uma resposta
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // Process individual components
  if (aiOverview.answer_text) {
    // Handle answer text
  }
  if (aiOverview.bullet_list) {
    // Handle bullet lists
  }
  // E assim por diante...
});

# Processando todos os AI Overviews em uma resposta
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # Process individual components
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Process each answer text
            if 'fragments' in answer:
                for text_item in answer['fragments']:
                    print(f"Answer text: {fragment['text']}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    point_text = point['text']
                    print(f"- {point_text}")
    # Continue processing other elements...

<?php
// Processando todos os AI Overviews em uma resposta
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // Process answer text
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['fragments']) && is_array($answer['fragments'])) {
                    foreach ($answer['fragments'] as $fragment) {
                        $textItem = $fragment['text'];
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // Process bullet lists
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        $pointText = $point['text'];
                        echo "- {$pointText}\n";
                    }
                }
            }
        }
        // Continue processing other elements...
    }
}
?>

Na maioria dos casos, haverá apenas um AI Overview, mas seu código deve estar preparado para lidar com várias entradas.

Parâmetros da requisição

Genérico

Opções básicas de configuração e personalização para extrair resultados da pesquisa na web do Google com AI Overviews.

Parâmetro

Descrição

Valor padrão

source

Define o scraper. Use google_search ou google_ads.

google_search

query

A palavra-chave ou frase a ser pesquisada.

render

Ativa a renderização de JavaScript quando definido como html. Mais informações.

context: expand_aio

Defina como verdadeiro para expandir AI Overviews do Google (renderização JavaScript ativada).

false

parse

Retorna os dados analisados quando definido como verdadeiro.

false

callback_url

URL para seu endpoint de callback. Mais informações

user_agent_type

Tipo de dispositivo e navegador. Use desktop ou mobile.

desktop

- parâmetro obrigatório

Operadores de pesquisa avançada do Google

Ao extrair dados, você pode achar útil combinar operadores avançados de pesquisa do Google com sua consulta. Isso permite personalizar o escopo da pesquisa, garantindo que os resultados sejam mais relevantes e focados. Explore estes comandos especiais aqui. Veja a consulta de exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

Localização

Adapte os resultados de pesquisa para locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor padrão

geo_location

O local geográfico para o qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros sugeridas aqui.

locale

Accept-Language valor do cabeçalho que altera o idioma da interface web da sua página de pesquisa do Google. Mais informações.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados da pesquisa.

Parâmetro

Descrição

Valor padrão

start_page

Número da página inicial.

1

páginas

Número de páginas a recuperar.

1

limit

Número de resultados a recuperar em cada página.

10

context:limit_per_page

Extraia várias páginas usando o mesmo endereço IP e sessão (cookie definido). Ao especificar os números das páginas em um array JSON com a page chave e indicar o número de resultados orgânicos por página usando a limit chave, você pode minimizar a chance de ver resultados orgânicos sobrepostos entre as páginas (por exemplo, o último resultado orgânico da primeira página ser o mesmo que o primeiro resultado orgânico da segunda página). Ver exemplo.

Suporte a rolagem contínua

O Web Scraper API oferece suporte total à rolagem contínua da Pesquisa Google. Ele detecta automaticamente layouts de rolagem contínua, carregando com eficiência os resultados orgânicos solicitados sem exigir parâmetros extras.

Limite por página

Devido a mudanças recentes no limite do Google, ajustamos o comportamento do Web Scraper API. O número máximo de resultados por página corresponderá à saída orgânica do Google, que normalmente é de 10 resultados.

Para usar este recurso, inclua um array JSON com objetos JSON contendo os seguintes dados:

Parâmetro

Descrição

Exemplo

page

O número da página que você gostaria de extrair. Qualquer valor inteiro maior que 0 funcionará

1

limit

O número de resultados na página em questão. Qualquer valor inteiro entre 1 e 100 (inclusive) funcionará.

90

Solicitar amostra

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtragem

Opções para filtrar e refinar os resultados da pesquisa com base em vários critérios. Saiba como usar os parâmetros de contexto aqui.

Parâmetro

Descrição

Valor padrão

context: filter

Definir o valor deste parâmetro como 0 permite ver resultados que, de outra forma, seriam excluídos devido à semelhança com outros resultados.

1

context: safe_search

Pesquisa segura. Defina como verdadeiro para ativá-la.

false

context: udm

udm o parâmetro permite alternar entre diferentes abas de pesquisa, como imagens, locais ou vídeos, para personalizar o tipo de resultados exibidos. Encontre os valores aceitos aqui.

context: tbm

a ser correspondido ou tbm parâmetro. Os valores aceitos são: app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

Esse parâmetro funciona como um contêiner para outros parâmetros menos óbvios do Google, como limitar/classificar resultados por data, além de outros filtros, alguns dos quais dependem do tbm parâmetro (por ex. tbs=app_os:1 está disponível apenas com o tbm valor app). Mais informações aqui.

udm e tbm parâmetros de contexto não podem ser usados juntos em uma única solicitação de extração; selecione apenas um. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado.

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro

Descrição

Valor padrão

context: fpstate

Definir o fpstate valor como aig fará o Google carregar mais apps. Esse parâmetro só é útil se usado junto com o render parâmetro.

context: nfpr

verdadeiro desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao context array como objetos com pares key e valor -valor, por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Saída estruturada

Dicionário de dados

Todas as chaves disponíveis no recurso SERP AI Overviews estão definidas na tabela abaixo:

Chave (results.ai_overviews)

Descrição

Tipo

answer_text

Informações gerais sobre o termo consultado na Pesquisa Google.

array

bullet_list

Indica informações sobre itens renderizados em uma lista com marcadores no recurso SERP AI Overviews.

array

source_panel

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

objeto

info_list

Uma lista de informações mais frequentemente usadas para representar etapas de um processo relevante para a consulta de pesquisa.

array

pos_overall

Uma indicação da posição do resultado do recurso SERP AI Overviews entre todos os resultados SERP do Google disponíveis.

integer

Geral

No exemplo a seguir, a consulta "Emporio Armani EA3192" foi usada.

{
  "ai_overviews": [
    {
      "answer_text": [
        {
          "fragments": [
            {
              "text": "Emporio Armani is a luxury brand known for timeless designs.",
              "references": [
                {
                  "source": "http://italist.com ",
                  "url": "https://www.italist.com/magazine/what-is-emporio-armani/ "
                }
              ]
            }
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Pros",
          "points": [
            {"text": "Comfortable"},
            {"text": "Minimal branding"}
          ],
          "pos": 1
        }
      ],
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/...",
            "source": "http://italist.com ",
            "title": "What is Emporio Armani...",
            "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ]
}

Texto da resposta

...
"answer_text": [
  {
    "fragments": [
      {
        "text": "Emporio Armani is a luxury brand known for timeless designs.",
        "references": [
          {
            "source": "http://italist.com",
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/"
          }
        ]
      }
    ],
    "pos": 1
  }
]
...

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

fragments

Uma resposta curta para o termo consultado na Pesquisa Google.

array

fragments.text

O conteúdo de texto da resposta do fragmento.

string

fragments.references

Uma lista de fontes referenciadas pelo fragmento.

array

fragments.references.source

O nome da fonte referenciada.

string

fragments.references.url

A URL da fonte referenciada.

string

pos

Um indicador que denota a posição de um item específico entre todos os resultados de resposta dos AI Overviews.

integer

Lista com marcadores

...
"bullet_list": [
  {
    "list_title": "Pros",
    "points": [
      {"text": "Comfortable"},
      {"text": "Minimal branding"}
    ],
    "pos": 1
  }
]
...

Chave (results.ai_overviews.bullet_list)

Descrição

Tipo

list_title

O título da lista com marcadores.

string

points

Os itens renderizados na lista com marcadores. Todos os itens são separados por vírgulas.

array

points.text

O conteúdo de texto do item com marcador.

string

points.references

Uma lista de fontes referenciadas pelo item com marcador (opcional).

array

pos

Um indicador que denota a posição de um item específico entre todos os resultados da lista com marcadores dos AI Overviews.

integer

Painel de fontes

...
"source_panel": {
  "items": [
    {
      "url": "https://www.italist.com/...",
      "source": "http://italist.com",
      "title": "What is Emporio Armani...",
      "pos": 1
    }
  ]
}
...

Chave (results.ai_overviews.source_panel)

Descrição

Tipo

items

Uma lista de fontes usadas para gerar o resultado AI Overviews no recurso SERP do Google.

objeto

items.url

A URL do site.

string

items.source

O nome do site.

string

items.title

O título do artigo.

string

items.pos

Um indicador que denota a posição de um item específico entre todos os resultados do painel de fontes dos AI Overviews.

integer

Lista de informações

Chave (results.ai_overviews.info_list)

Descrição

Tipo

list_title

O título da lista.

string

list_items

Contém uma lista de itens com seus respectivos detalhes.

array

list_items.title

O título da seção dentro da lista.

string

list_items.content

Uma breve descrição da seção.

array

list_item.pos

Um indicador que denota a posição de um item específico entre todos os resultados da lista de informações dos AI Overviews.

integer

Instruções

No exemplo a seguir, a consulta "docker exec commands explained" foi usada.

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "fragments": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "fragments": [
            "The syntax for the docker exec command is as follows:"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

Texto da resposta

"answer_text": [
  {
    "fragments": [
      "The docker exec...",
      "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
    ],
    "pos": 1
  }
]

Chave (results.ai_overviews.answer_text)

Descrição

Tipo

fragments

Fragmento da resposta da consulta da Pesquisa Google em texto simples.

array de strings

pos

Um indicador que denota a posição do item na resposta do Overview.

integer

AnteriorModo IA

PróximoLens

Atualizado há 18 dias

Isto foi útil?