Pesquisa de Compras

Extraia resultados de pesquisa do Google Shopping com dados analisados para listagens orgânicas de produtos e anúncios de listagens pagas, incluindo preços, avaliações, reviews, tokens de produto e mais.

O google_shopping_search a fonte retorna resultados de pesquisa do Google Shopping. Cada resultado renderizado inclui um token do produto que é necessário para coletar dados do produto usando o google_shopping_product source.

Exemplos de solicitação

No exemplo de código abaixo, pesquisamos por "Nvidia RTX" para obter o token na resposta.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
    "source": "google_shopping_search",
    "query": "nvidia rtx",
    "render": "html",
    "parse": true
    }'

import requests
from pprint import pprint


# Estruture o payload.
payload = {
    "source": "google_shopping_search",
    "query": "nvidia rtx",
    "render": "html",
    "parse": True
}

# Obtenha a resposta.
response = requests.request(
    "POST",
    "https://realtime.oxylabs.io/v1/queries",
    auth=("USERNAME", "PASSWORD"),
    json=payload,
)

# Imprima a resposta formatada em stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_search",
    query: "nvidia rtx",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_shopping_search',
    'query' => 'nvidia rtx',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_search",
		"query":  "nvidia rtx",
		"render": "html",
		"parse":  true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_search",
                query = "nvidia rtx",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_search");
        jsonObject.put("query", "nvidia rtx");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Observação: Somente jobs analisados renderizados retornarão tokens de produto.

Usamos o método de integração Realtime síncrona em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção métodos de integração .

Valores dos parâmetros da solicitação

Genérico

Parâmetro

Descrição

Valor padrão

source

Define o scraper.

google_shopping_search

query

A palavra-chave ou frase para pesquisar.

render

Ativa a renderização de JavaScript. Deve ser definido como html para obter o produto tokens. Mais informações.

parse

Retorna dados analisados quando definido como true. Explore a saída dicionário de dados.

false

callback_url

URL para seu endpoint de callback. Mais informações

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

- parâmetro obrigatório

Localização

Parâmetro

Descrição

Valor padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros aqui.

locale

valor do cabeçalho Accept-Language Mais informações.

Observação: certifique-se de que seus parâmetros de localização para google_shopping_product e google_shopping_search as sources sejam os mesmos (nenhum, se não definido). O desalinhamento regional entre as sources pode resultar em dados incompletos ou imprecisos.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados da pesquisa.

Parâmetro

Descrição

Valor padrão

start_page

Número da página inicial.

1

pages

Número de páginas para recuperar.

1

Parâmetros de contexto

Opções avançadas para ajustar o contexto da pesquisa ou controles para requisitos especializados. Os parâmetros de contexto devem ser adicionados a um array de contexto, como mostrado abaixo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Parâmetro

Descrição

Valor padrão

context: sort_by

Ordena a lista de produtos por um critério informado. r aplica a ordenação padrão do Google, rv - por pontuação de avaliação, p - por preço crescente, pd - por preço decrescente.

r

context: min_price

Preço mínimo dos produtos para filtrar.

context: max_price

Preço máximo dos produtos para filtrar.

context: nfpr

true desativará a autocorreção ortográfica.

Dados estruturados

Abaixo você pode encontrar um exemplo de saída estruturada para google_shopping_search.

998KB

google_shopping_search-output.json

Abrir

Dicionário de dados de saída

Exemplo de HTML

Estrutura JSON

A tabela abaixo apresenta uma lista detalhada de cada elemento da página de busca que analisamos, junto com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

Chave

Descrição

Tipo

url

A URL da página de pesquisa do Google Shopping para a consulta.

string

page

O número da página atual dos resultados da pesquisa.

integer

resultados

Um objeto contendo resultados detalhados da pesquisa.

object

pla (opcional)

Uma lista de anúncios de listagem de produtos com seus respectivos detalhes.

array

filters (opcional)

Lista de vários filtros.

array

organic

Uma lista de listagens não pagas com seus respectivos detalhes.

array

search_information

Uma lista de detalhes para a consulta de pesquisa enviada.

object

search_information.query

O termo de pesquisa original.

string

search_information.showing_results_for

O termo de pesquisa para o qual os resultados estão sendo exibidos. `query` e `showing_results_for` podem ser diferentes se o Google corrigiu automaticamente o termo de pesquisa fornecido.

string

last_visible_page

Valor que identifica o número máximo de página visível na página de resultados da consulta de pesquisa. (-1 quando o carregamento de mais resultados é iniciado pela rolagem).

integer

parse_status_code

O código de status do trabalho de análise. Você pode ver os códigos de status do parser descritos aqui.

integer

created_at

O timestamp em que o trabalho de scraping foi criado.

timestamp

updated_at

O timestamp em que o trabalho de scraping foi concluído.

timestamp

status_code

O código de status do trabalho de scraping. Você pode ver os códigos de status do scraper descritos aqui.

integer

job_id

O ID do trabalho associado ao trabalho de scraping.

string

Nas seções a seguir, os trechos de código JSON analisados são abreviados quando há mais de um item disponível para o tipo de resultado.

Anúncios de listagem pagos

Um array de objetos contendo anúncios de listagem de produtos (PLA) para o produto. (Exemplo ilustrativo)

...
  "pla": [
    {
        "items": [
            {
                "pos": 1,
                "url": "/aclk?sa=l&ai=DChcSEwiY8fLUi9OGAxVtj1AGHYnVBj0YABABGgJkZw&gclid=EAIaIQobChMImPHy1IvThgMVbY9QBh2J1QY9EAQYASABEgKpS_D_BwE&sig=AOD64_2DguiyFTR4GRY6Ww9o__l9HgJC_A&ctype=5&q=&ved=0ahUKEwj-6ezUi9OGAxWiWUEAHdbxAgsQww8I2xA&adurl=",
                "price": "$2,199.00",
                "title": "Polycade Sente: Black",
                "seller": "Polycade",
                "thumbnail": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcS59ZNOrZH96cy_cOgzxL52VoJYq9iPl7q8g26f9odcuG8pY8ZRxe9YMhkZDPnFAZDyP04lu29gy57ObwsKpWHb_pzQBja34tkErnSAz3nw&usqp=CAE"
            },
            {
                "pos": 2,
                "url": "/aclk?sa=l&ai=DChcSEwiY8fLUi9OGAxVtj1AGHYnVBj0YABADGgJkZw&gclid=EAIaIQobChMImPHy1IvThgMVbY9QBh2J1QY9EAQYAiABEgJwHvD_BwE&sig=AOD64_0LFB8jrHwNdEkmOdjcjGOdhQ9ZVg&ctype=5&q=&ved=0ahUKEwj-6ezUi9OGAxWiWUEAHdbxAgsQww8I3hA&adurl=",
                "price": "$2,199.00",
                "title": "Polycade Sente: White",
                "seller": "Polycade",
                "thumbnail": "https://encrypted-tbn2.gstatic.com/shopping?q=tbn:ANd9GcQ2onFg_aXbg8LTX3qJT9f9XdiFrl_SNLXlpKhSjCQQ2c5EmQcrNXPwCMphjugJUhWctBpRVC0BiS4OUnq0FRAeQ4BXEWI6FuvZvGERsLc&usqp=CAE"
            },
                                ...
        ],
        "pos_overall": 1
    }
],
...

Chave (pla)

Descrição

Tipo

itens

Todos os PLAs disponíveis na página.

array

pos

Um indicador que denota a posição de um item entre os resultados de PLA.

integer

url

A URL do produto.

string

preço

O preço do produto no anúncio de listagem.

string

title

O título do produto no anúncio de listagem.

string

rating

A avaliação do produto.

integer

seller

O vendedor do produto no anúncio de listagem.

string

thumbnail

A URL da imagem em miniatura do produto.

string

reviews_count

A contagem de avaliações do produto.

opcional

pos_overall

Uma indicação da posição do resultado dentro da SERP.

integer

Filtros

...
"filters": [
    {
        "name": "Mostrar apenas",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,sales:1&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQ7KEGCJ4WKAA",
                "value": "Em promoção"
            }
        ]
    },
    {
        "name": "Preço",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,price:1,ppr_max:40&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQvSsIohYoAA",
                "value": "Até $40"
            },
                                ...
                                {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,price:1,ppr_min:90&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQvSsIpRYoAw",
                "value": "Acima de $90"
            }
        ]
    },
    {
        "name": "Cor",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,color:specific,color_val:black&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQtSsIrBYoAA",
                "value": "Preto"
            },
                                ...
                                {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,color:specific,color_val:pink&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQtSsIshYoBg",
                "value": "Pink"
            }
        ]
    },
                        ...
]

Chave (filters)

Descrição

Tipo

name

O nome da categoria de filtro

string

values

Opções de filtro disponíveis dentro da categoria.

array

values.url

A URL que representa a consulta de pesquisa filtrada para esta opção de filtro.

string

values.value

O nome exibido da opção de filtro

string

values.merchant_id (opcional)

O ID do comerciante associado a esta opção de filtro.

string

Orgânico

Um array de objetos contendo detalhes dos resultados orgânicos da pesquisa.

...
"organic": [
    {
        "pos": 1,
        "url": "https://www.google.com/shopping/product/16307418470740744792?q=nvidia+rtx&hl=en&udm=28&sei=j5fsaPC2FYWQur8P293m8A8&gl=us",
        "type": "grade",
        "price": 3090,
        "title": "NVIDIA GeForce RTX 5090 32GB GDDR7 Graphics Card",
        "token": "eyJjYXRhbG9naWQiOiAiMTYzMDc0MTg0NzA3NDA3NDQ3OTIiLCAiZ3BjaWQiOiAiMjM4NTIwNzk2NTI4MjUxMzUzOSIsICJpbWFnZURvY2lkIjogIjkyMjY0MjkwODMxMzQ4NDkwNDUiLCAibWlkIjogIiIsICJwdm8iOiAiMjMiLCAicHZ0IjogImhnIiwgInJkcyI6ICJQQ18yMzg1MjA3OTY1MjgyNTEzNTM5fFBST0RfUENfMjM4NTIwNzk2NTI4MjUxMzUzOSIsICJwcm9kdWN0aWQiOiAiIiwgInF1ZXJ5IjogIm52aWRpYSBydHgifQ==",
        "rating": 4.6,
        "currency": "USD",
        "delivery": "Entrega grátis até sex.",
        "merchant": {
            "name": "eBay"
        },
        "price_str": "$3,090.00",
        "thumbnail": "<THUMBNAIL_STR>",
        "product_id": "1503163696221055935",
        "pos_overall": 1,
        "reviews_count": 311
    },
]
...

Chave (orgânico)

Descrição

Tipo

pos

A posição do produto nos resultados da pesquisa.

integer

url

A URL da página de produto.

string

type

O tipo de layout da listagem.

string

preço

O preço do produto na moeda especificada.

float

title

O título do anúncio do produto.

string

token

O token do produto.

string

rating (opcional)

A avaliação média do produto pelos usuários, geralmente de 5.

integer

currency

O código da moeda do preço do produto.

string

entrega

Detalhes de entrega, incluindo data estimada de entrega e política de devolução.

string

merchant (opcional)

Um objeto contendo detalhes sobre o comerciante que vende o produto.

object

merchant.url

A URL da página do comerciante.

string

merchant.name

O nome do comerciante.

string

price_str

O preço do produto como string, incluindo o símbolo da moeda.

string

thumbnail

A URL da imagem em miniatura do produto.

string

product_id

Um identificador exclusivo do produto.

string

pos_overall

A posição geral do produto nos resultados da pesquisa.

integer

reviews_count (opcional)

O número total de avaliações do produto.

integer

AnteriorCompras PróximoProduto de Compras

Atualizado há 23 dias

Isto foi útil?