AI Overviews

Aprende cómo puedes extraer AI Overviews con Web Scraper API. Encuentra ejemplos de código y parámetros soportados.

El google_search y google_ads las fuentes pueden devolver AI Overviews a partir de resultados de Google Search en todas las regiones globales compatibles. ai_overviews la matriz result admite múltiples bloques de IA en una sola respuesta, incluidas secciones como “People also ask” y “Things to know”.

Para maximizar la probabilidad de recibir el contenido totalmente renderizado de AI Overviews, debe incluir los siguientes parámetros:

Parámetro

Valor

source

google_search o google_ads

user_agent_type

html

user_agent_type

desktop o búsqueda

Usar estos parámetros también le permite recibir tanto la respuesta general como el contenido de AI Overviews con una sola solicitud.

Google genera dinámicamente este contenido o carga una versión en caché, por lo que las respuestas generadas por IA pueden variar con el tiempo, incluso con parámetros idénticos.

Explorar diccionario de datos para algunas de las características SERP de AI Overviews.

Disponibilidad regional de AI Overviews

Google AI Overviews está disponible en la mayoría de los países, con algunas excepciones. Actualmente los principales países excluidos son:

Francia
China
Irán
Corea del Norte

La función AI Overviews de Google se está implementando de forma continua, incluyendo más países con el tiempo.

Solicitar ejemplos

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "how to sell on amazon",
        "render": "html",
        "user_agent_type": "desktop",
        "parse": true
        
    }'

import requests
from pprint import pprint

# Payload actualizado.
payload = {
    'source': 'google_search',
    'query': 'how to sell on amazon',
    'render': 'html',
    'user_agent_type': 'desktop',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

<?php

$params = [
    'source' => 'google_search',
    'query' => 'how to sell on amazon',
    'render' => 'html',
    'user_agent_type' => 'desktop',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = [];
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o asíncrono Push-Pull para la integración, consulte los métodos de integración sección.

Valores de parámetros de la solicitud

Genérico

Configuración básica y opciones de personalización para rastrear resultados de búsqueda web de Google con AI Overviews.

Parámetro

Descripción

Valor predeterminado

source

Establece el scraper. Use google_search o google_ads.

google_search

query

La palabra clave o frase a buscar.

user_agent_type

Activa el renderizado de JavaScript cuando se establece en html. Más información.

parse

Devuelve datos parseados cuando se establece en true.

false

callback_url

URL de su endpoint de callback. Más información.

user_agent_type

Tipo de dispositivo y navegador. Use desktop o búsqueda.

desktop

- parámetro obligatorio

Operadores avanzados de búsqueda de Google

Al realizar scraping, puede resultar útil combinar los operadores avanzados de búsqueda de Google con su consulta. Esto le permite personalizar el alcance de la búsqueda, asegurando que los resultados sean más relevantes y focalizados. Explore estos comandos especiales aquí y aquí. Vea el ejemplo de consulta abajo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple", 
    "render": "html",
    "user_agent_type": "desktop"
}

Localización

Adapte los resultados de búsqueda a ubicaciones geográficas específicas, dominios y idiomas.

Parámetro

Descripción

Valor predeterminado

geo_location

La ubicación geográfica para la que se deben adaptar los resultados. Usar este parámetro correctamente es extremadamente importante para obtener los datos correctos. Para más información, lea sobre nuestras sugeridas geo_location estructuras de parámetros aquí.

dominio

Localización de dominio para Google. La lista completa de dominios disponibles se puede encontrar aquí.

com

localidad

Accept-Language valor del encabezado que cambia el idioma de la interfaz web de la página de búsqueda de Google. Más información.

context: results_language

Idioma de los resultados. La lista de idiomas de Google soportados se puede encontrar aquí. Aprenda cómo usar parámetros de contexto aquí.

Paginación

Controles para gestionar la paginación y la recuperación de resultados de búsqueda.

Parámetro

Descripción

Valor predeterminado

start_page

Número de página inicial.

1

pages

Número de páginas a recuperar.

1

limit

Número de resultados a recuperar en cada página.

10

context:limit_per_page

Extraiga múltiples páginas usando la misma dirección IP y sesión (conjunto de cookies). Al especificar los números de página en un array JSON con la page clave e indicar el número de resultados orgánicos por página usando la limit clave, puede minimizar la posibilidad de ver resultados orgánicos superpuestos entre páginas (por ejemplo, que el último resultado orgánico de la primera página sea el mismo que el primer resultado orgánico de la segunda página). Ver ejemplo.

Soporte de desplazamiento continuo

La Web Scraper API admite completamente el desplazamiento continuo de Google Search. Detecta automáticamente los diseños de desplazamiento continuo, cargando eficientemente los resultados orgánicos solicitados sin parámetros adicionales requeridos.

Límite por página

Debido a cambios recientes en los límites de Google, hemos ajustado el comportamiento de la Web Scraper API. El máximo de resultados por página coincidirá con la salida orgánica de Google, que normalmente es de 10 resultados.

Para usar esta función, incluya un array JSON con objetos JSON que contengan los siguientes datos:

Parámetro

Descripción

Ejemplo

page

El número de la página que le gustaría raspar. Cualquier valor entero mayor que 0 funcionará

1

limit

El número de resultados en la página en cuestión. Cualquier valor entero entre 1 y 100 (inclusive) funcionará.

90

o escribe a nuestro soporte en chat en vivo 24/7.

{
    "source": "google_search",
    "query": "how to sell on amazon",
    "render": "html",
    "user_agent_type": "dekstop",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtrado

Opciones para filtrar y refinar los resultados de búsqueda según varios criterios. Aprenda cómo usar parámetros de contexto aquí.

Parámetro

Descripción

Valor predeterminado

context: filter

Establecer el valor de este parámetro a 0 le permite ver resultados que de otro modo serían excluidos debido a similitud con otros resultados.

1

context: safe_search

Búsqueda segura. Establecer en true para habilitarla.

false

context: udm

udm el parámetro permite cambiar entre diferentes pestañas de búsqueda, como imágenes, lugares o videos, para personalizar el tipo de resultados mostrados. Encuentre los valores aceptados aquí.

context: tbm

Parámetro "to-be-matched" o tbm Acepta los siguientes valores: app, blg, bks, dsc, isch, nws, pts, plcs, rcp, lcl

context: tbs

Este parámetro es como un contenedor para parámetros de Google más oscuros, como limitar/ordenar resultados por fecha, así como otros filtros, algunos de los cuales dependen del tbm parámetro (p. ej. tbs=app_os:1 solo está disponible con tbm value app). Más información aquí.

udm y tbm los parámetros de contexto no pueden usarse juntos en una sola solicitud de scraping; seleccione solo uno. Usar ambos simultáneamente puede provocar conflictos o comportamientos inesperados.

Otros

Configuraciones avanzadas adicionales y controles para requisitos especializados.

Parámetro

Descripción

Valor predeterminado

context: fpstate

Establecer el fpstate valor a aig hará que Google cargue más aplicaciones. Este parámetro solo es útil si se usa junto con el user_agent_type parámetro.

context: nfpr

true desactivará la corrección ortográfica automática

false

Parámetros de contexto

Todos los parámetros de contexto deben añadirse al context array como objetos con key y value pares, p. ej.:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Estructura de datos y procesamiento

Diccionario de datos

Todas las claves disponibles dentro de la característica SERP AI Overviews están definidas en la tabla a continuación:

Clave (results.ai_overview)

Descripción

Tipo

answer_text

Información general sobre el término de búsqueda de Google Search.

array

bullet_list

Indica información sobre elementos renderizados en una lista con viñetas dentro de la característica SERP AI Overviews.

array

products

Una lista de productos con sus respectivos detalles.

object

source_panel

Una lista de fuentes utilizadas para generar el resultado AI Overviews en la característica SERP de Google.

object

additional_questions

Una lista de preguntas adicionales con sus respectivos detalles.

object

recetas

Una lista de recetas con sus respectivos detalles.

object

info_list

Una lista de información que se usa con más frecuencia para representar pasos de un proceso relevante para la consulta de búsqueda.

array

pos_overall

Una indicación de la posición del resultado de la característica SERP AI Overviews entre todos los resultados disponibles de Google SERP.

integer

Trabajar con múltiples AI Overviews

Dado que AI Overviews ahora se devuelven como una matriz, debe iterar a través de ellas:

// Procesando todos los AI Overviews en una respuesta
response.results.ai_overviews.forEach((aiOverview, index) => {
  console.log(`Processing AI Overview #${index + 1}`);
  // Procesar componentes individuales
  if (aiOverview.answer_text) {
    // Manejar el texto de la respuesta
  }
  if (aiOverview.bullet_list) {
    // Manejar listas con viñetas
  }
  // Y así sucesivamente...
});

# Procesando todos los AI Overviews en una respuesta
for index, ai_overview in enumerate(response['results']['ai_overviews']):
    print(f"Processing AI Overview #{index + 1}")
    # Procesar componentes individuales
    if 'answer_text' in ai_overview:
        answer_texts = ai_overview['answer_text']
        for answer in answer_texts:
            # Procesar cada texto de respuesta
            if 'text' in answer:
                for text_item in answer['text']:
                    print(f"Answer text: {text_item}")
    
    if 'bullet_list' in ai_overview:
        bullet_lists = ai_overview['bullet_list']
        for bullet_list in bullet_lists:
            if 'list_title' in bullet_list:
                print(f"List title: {bullet_list['list_title']}")
            if 'points' in bullet_list:
                for point in bullet_list['points']:
                    print(f"- {point}")
    # Continuar procesando otros elementos...

<?php
// Procesando todos los AI Overviews en una respuesta
if (isset($response['results']['ai_overviews']) && is_array($response['results']['ai_overviews'])) {
    foreach ($response['results']['ai_overviews'] as $index => $aiOverview) {
        $indexNumber = $index + 1;
        echo "Processing AI Overview #{$indexNumber}\n";
        
        // Procesar texto de respuesta
        if (isset($aiOverview['answer_text']) && is_array($aiOverview['answer_text'])) {
            foreach ($aiOverview['answer_text'] as $answer) {
                if (isset($answer['text']) && is_array($answer['text'])) {
                    foreach ($answer['text'] as $textItem) {
                        echo "Answer text: {$textItem}\n";
                    }
                }
            }
        }
        
        // Procesar listas con viñetas
        if (isset($aiOverview['bullet_list']) && is_array($aiOverview['bullet_list'])) {
            foreach ($aiOverview['bullet_list'] as $bulletList) {
                if (isset($bulletList['list_title'])) {
                    echo "List title: {$bulletList['list_title']}\n";
                }
                if (isset($bulletList['points']) && is_array($bulletList['points'])) {
                    foreach ($bulletList['points'] as $point) {
                        echo "- {$point}\n";
                    }
                }
            }
        }
        // Continuar procesando otros elementos...
    }
}
?>

En la mayoría de los casos, habrá solo un AI Overview, pero su código debe estar preparado para manejar múltiples entradas.

Explore ejemplos de resultados de AI Overviews a continuación, categorizados por diferentes consultas de búsqueda: Elemento, Recetas, Instrucción.

Elemento

En el siguiente ejemplo, se utilizó la consulta "Emporio Armani EA3192".

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "Emporio Armani es una marca de lujo conocida por sus diseños atemporales y su compromiso con la artesanía italiana.",
            "El Emporio Armani EA3192 es un par de gafas graduadas diseñadas para hombres.",
            "Tienen una montura rectangular fabricada con plástico hipoalergénico y ligero.",
            "Las lentes son UV y antirreflejo.",
            "Aquí hay algunas ideas de las reseñas:"
          ],
          "pos": 1
        }
      ],
      "bullet_list": [
        {
          "list_title": "Pros",
          "points": [
            "Cómodas",
            "Marca mínima"
          ],
          "pos": 1
        }
      ],
      "products": {
        "items": [
          {
            "product_name": "Emporio Armani Men Eyeglasses Shiny Black Size: 53",
            "price": "$163.00",
            "previous_price": null,
            "seller": "Lenscrafters",
            "shipping": "Entrega gratis",
            "url": "https://www.lenscrafters.com/lc-us/emporio-armani/8056597975810?srsltid=AfmBOoqWO55KIJevhQp_c5OAp0JOM_8Uza3_gCvn9S4x4Vz342AUSQewzJI",
            "pos": 1
          }
        ]
      },
      "source_panel": {
        "items": [
          {
            "url": "https://www.italist.com/magazine/what-is-emporio-armani/#:~:text=Emporio%20Armani%20is%20a%20luxury,reinforce%20the%20perception%20of%20luxury.",
            "source": "italist.com",
            "date": "May 5, 2023",
            "title": "What is Emporio Armani and is Emporio Armani a luxury brand?",
            "pos": 1
          },
        ...
        ]
      },
      "additional_questions": {
        "items": [
          {
           "question": "Is Emporio Armani the same as Giorgio Armani?",
           "pos": 1
          }
        ]
      },
      "pos_overall": 1
    }
  ],
...

Texto de respuesta

Clave (results.ai_overviews.answer_text)

Descripción

Tipo

texto

Una respuesta corta a la consulta de búsqueda de Google Search.

array

pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de respuestas de AI Overviews.

integer

Lista con viñetas

Clave (results.ai_overviews.bullet_list)

Descripción

Tipo

list_title

El título de la lista con viñetas.

string

points

Los elementos renderizados en la lista con viñetas. Todos los elementos están separados por comas.

array

pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de listas con viñetas de AI Overviews.

integer

Productos

Clave (results.ai_overviews.products)

Descripción

Tipo

items

Una lista de productos con sus respectivos detalles.

array

items.product_name

El nombre del producto.

string

items.price

El precio actual del producto.

string

items.previous_price

El precio inicial del producto (si aplica).

string

items.seller

El vendedor del producto.

string

items.shipping

El tipo de envío disponible para el producto.

string

items.url

La URL del producto.

string

items.pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de Productos de AI Overviews.

integer

Panel de fuente

Clave (results.ai_overviews.source_panel)

Descripción

Tipo

items

Una lista de fuentes utilizadas para generar el resultado AI Overviews en la característica SERP de Google.

object

items.url

La URL del sitio web.

string

items.source

El nombre del sitio web.

string

items.date

La fecha en que se publicó el artículo.

string

items.title

El título del artículo.

string

items.pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de panel de fuente de AI Overviews.

integer

Preguntas adicionales

Clave (results.ai_overviews.additional_questions)

Descripción

Tipo

items.question

Una lista de Preguntas adicionales separadas por comas relevantes para la consulta de búsqueda original.

array

items.pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de preguntas adicionales de AI Overviews.

integer

Receta

En el siguiente ejemplo, se utilizó la consulta "recipe for an apple pie".

...  
 "ai_overviews": [
   {
      "recipes": {
        "items": [
          {
            "description": "This simple recipe features a homemade crust, Granny Smith apples, and warm spices.",
            "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/...",
            "source": "Allrecipes",
            "rating": "4.8",
            "rating_count": "13K",
            "duration": "90 min",
            "url": "https://www.allrecipes.com/recipe/12682/apple-pie-by-grandma-ople/",
            "title": "Apple Pie by Grandma Ople"
          },
...
        ]
      }
    }
  ],
...

Recetas

Clave (results.ai_overviews.recipes)

Descripción

Tipo

items

Una lista de recetas con sus respectivos detalles.

array

items.description

Una breve descripción de la receta.

string

items.image

Una imagen en miniatura codificada en base64 de la receta.

string

items.source

El nombre del sitio donde se publica la receta.

string

items.rating

La valoración de la receta.

string

items.rating_count

El número de valoraciones.

string

items.duration

El tiempo necesario para preparar el plato.

string

items.url

La URL a la receta completa.

string

items.title

El título de la receta.

string

En el siguiente ejemplo, se utilizó la consulta "recipe of a juicy succulent steak".

Lista de información

Clave (results.ai_overviews.info_list)

Descripción

Tipo

list_title

El título de la lista.

string

list_items

Contiene una lista de elementos con sus respectivos detalles.

array

list_items.title

El título de la sección dentro de la lista.

string

list_items.content

Una breve descripción de la sección.

array

list_item.pos

Un indicador que denota la posición de un elemento dado entre todos los resultados de la Lista de información de AI Overviews.

integer

Instrucción

En el siguiente ejemplo, se utilizó la consulta "docker exec commands explained".

...
  "ai_overviews": [
    {
      "answer_text": [
        {
          "text": [
            "The docker execExecIn computing, exec is a functionality of an operating system that runs an executable file in the context of an already existing process, replacing the previous executable...",
            "It is a powerful tool that can be used for a variety of tasks, such as troubleshooting a container, running a script, or installing software."
          ],
          "pos": 1
        },
        {
          "text": [
            "The syntax for the docker exec command is as follows:"
          ],
          "command": [
            "docker exec [OPTIONS] CONTAINER COMMAND [ARG...]"
          ],
          "pos": 2
        },
        ...
        }
      ]
    }
  ],
...

Comando de texto de respuesta

Nota: los detalles se renderizan en la misma matriz que para consulta de búsqueda relacionada con el elemento, sin embargo, aparece un nuevo tipo de clave (command) para consultas de tipo instrucción

Clave (results.ai_overviews.answer_text)

Descripción

Tipo

command

Una instrucción dada a una computadora o software para realizar una tarea específica.

string

AnteriorAI Mode SiguienteAds Max

Última actualización hace 18 días

¿Te fue útil?

Buenas noches

Disponibilidad regional de AI Overviews

Solicitar ejemplos

Valores de parámetros de la solicitud

Genérico

Operadores avanzados de búsqueda de Google

Localización

Paginación

Soporte de desplazamiento continuo

Límite por página

o escribe a nuestro soporte en chat en vivo 24/7.

Filtrado

Otros

Parámetros de contexto

Estructura de datos y procesamiento

Diccionario de datos

Trabajar con múltiples AI Overviews

Elemento

Texto de respuesta

Panel de fuente

Preguntas adicionales

Receta

Lista de información

Instrucción