Produto de Shopping

Recupere dados detalhados de produtos do Google Shopping, incluindo preços, avaliações, especificações e variantes usando o Web Scraper API.

O google_shopping_product a fonte recupera informações detalhadas do produto (título, descrição, preços, vendedores, itens relacionados, avaliações, etc.) do Google Shopping usando um token de produto adquirido de google_shopping_search source.

Amostras de requisição

No exemplo de código abaixo, fazemos uma requisição para recuperar a página do produto no Google Shopping usando um token válido.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

import requests
from pprint import pprint


# Estruturar payload.
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir a resposta formatada no stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Importante: O query o parâmetro deve conter um token válido gerado através do google_shopping_search source.

Usamos o método de integração síncrono Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull consulte os métodos de integração da seção.

Valores dos parâmetros da requisição

Genérico

Configuração básica e opções de personalização para extrair páginas de produto do Google Shopping.

Parâmetro

Descrição

Valor Padrão

source

Define o scraper.

google_shopping_product

query

O token do produto de google_shopping_search

render

Ativa a renderização JavaScript quando definido como html. Obrigatório para receber resultados adicionais de preços da seção "Mais lojas". Mais info.

parse

Retorna dados parseados quando definido como true. Explore a saída dicionário de dados.

false

callback_url

URL para o seu endpoint de callback. Mais info.

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

- parâmetro obrigatório

Localização

Adapte os resultados para localizações geográficas específicas, domínios e idiomas.

Parâmetro

Descrição

Valor Padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas sugeridas geo_location estruturas de parâmetro aqui.

domínio

Localização de domínio do Google. A lista completa de domínios disponíveis pode ser encontrada aqui.

com

locale

Accept-Language valor do cabeçalho para alterações no idioma da interface. Mais info.

context: results_language

Idioma dos resultados. A lista de idiomas suportados pelo Google pode ser encontrada aqui.

Observação: certifique-se de que seus parâmetros de localização para google_shopping_product e google_shopping_search as fontes sejam os mesmos (nenhum se não definido). Desalinhamento regional entre as fontes pode resultar em dados incompletos ou imprecisos.

Dados estruturados

Abaixo você pode encontrar um exemplo de saída estruturada para google_shopping_product.

19KB

google_shopping_product-output.json

Abrir

Dicionário de dados de saída

Amostra HTML

Estrutura JSON

A tabela abaixo apresenta uma lista detalhada de cada elemento da página de produto que nós analisamos, junto com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

Chave

Descrição

Tipo

url

A URL da página do produto no Google Shopping.

string

title

O título da listagem do produto.

string

description

Uma descrição detalhada do produto.

string

images

Um objeto contendo imagens do produto.

object

images.full_size

Um array de URLs para imagens em tamanho real do produto.

array

images.thumbnails

Um array de URLs para imagens miniaturas do produto.

array

pricing

Um array contendo todas as informações de preços online.

array

avaliações

Um objeto contendo informações de avaliações. (apenas EUA)

object

variants

Um array de objetos contendo variantes do produto. (cores, tamanhos, etc.)

array

related_items

Um array de objetos contendo itens relacionados.

array

specifications

Um array de objetos contendo especificações do produto.

array

parse_status_code

O código de status do trabalho de parsing. Você pode ver os códigos de status do parser descritos aqui.

integer

created_at

O timestamp quando o trabalho de scraping foi criado.

timestamp

updated_at

O timestamp quando o trabalho de scraping foi finalizado.

timestamp

status_code

O código de status do trabalho de scraping. Você pode ver os códigos de status do scraper descritos aqui.

integer

job_id

O ID do job associado ao trabalho de scraping.

string

Nas seções seguintes, os trechos de código JSON parseado são encurtados quando há mais de um item disponível para o tipo de resultado.

Pricing

Um objeto contendo informações de preços do produto.

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3 Graphics Card",
          "currency": "USD",
          "condition": "New",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

Chave (pricing[])

Descrição

Tipo

online

Um array de objetos contendo detalhes de preços do produto.

array

online.price

O preço do produto na moeda especificada.

float

online.seller

O nome do vendedor ou comerciante que oferece o produto.

string

online.details

Detalhes adicionais sobre o produto, compra, como políticas de entrega e devolução.

string

online.currency

O código da moeda para o preço do produto.

string

online.condition

A condição do produto.

string

online.price_tax

O valor do imposto aplicado ao preço do produto.

float

online.price_total (opcional)

O preço total do produto, incluindo impostos.

float

online.seller_link

A URL para a página do vendedor do produto.

string

online.price_shipping

O custo de envio do produto.

float

Avaliações

Um objeto contendo informações de avaliações e classificações do produto.

No momento, as avaliações estão disponíveis apenas na localidade dos EUA.

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "Meu computador é um Dell Optiplex 9020, i7-4770, 32mb, 500gb SSD. A placa de 3 ventoinhas é longa, e a gaiola do disco rígido teve que ser removida para caber no gabinete Optiplex. A fonte foi atualizada para 750 watts, o que exigiu um adaptador para a placa-mãe Dell. Com essas modificações, a instalação da placa foi sem drama, mas você precisa usar o Google para encontrar o driver no site da Nvidia. Estou usando esta GPU para animação 3D no Blender. Estou muito satisfeito com a velocidade da renderização com rastreamento de raios no EEVEE e Cycles. Como este é um computador antigo, a CPU nunca funciona a 100%, e ainda não consegui maximizar a capacidade desta placa. Não ouço as ventoinhas funcionando, mas nunca coloquei uma carga alta o suficiente nela, eu suponho. Ela tem um pequeno zumbido eletrônico quando está renderizando.\u00a0Menos",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "reviews_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

Chave(reviews[])

Descrição

Tipo

rating

A avaliação média do produto, tipicamente em uma escala de 5.

float

top_review

Um objeto contendo detalhes da avaliação principal do produto.

object

top_review.text (opcional)

O conteúdo de texto da avaliação principal

string

top_review.title (opcional)

O título da avaliação principal.

string

top_review.author

O autor da avaliação principal.

string

top_review.rating

A classificação dada pelo autor da avaliação principal, tipicamente em uma escala de 5.

float

top_review.source

A fonte ou site onde a avaliação principal foi publicada.

string

rating_stars

A avaliação média do produto, tipicamente em uma escala de 5 estrelas.

float

reviews_count (opcional)

O número total de avaliações do produto.

integer

reviews_by_stars

Um objeto contendo a contagem de avaliações para cada classificação por estrelas.

object

reviews_by_stars.url (opcional)

Um objeto contendo detalhes das avaliações de X estrelas.

string

reviews_by_stars.reviews_count

A contagem de avaliações de X estrelas.

integer

Itens Relacionados (Mais opções)

Um array de objetos contendo itens relacionados ao produto alvo.

...             
   "related_items": [
      {
        "items": [
          {
            "url": "/search?ibp=oshop&prds=catalogid:1368129371371338580,gpcid:14975392695437189622,headlineOfferDocid:2388507960063782588,imageDocid:1618178582933849531,productid:7780474142858650836,pvo:2,pvt:hg,rds:PC_14975392695437189622%7CPROD_PC_14975392695437189622&q=nvidia+rtx&gl=us&hl=en&pvorigin=2",
            "image": "https://encrypted-tbn3.gstatic.com/shopping?q=tbn:ANd9GcScO-LIdlqj1WjcLznMECFXNo4qbZ1TRbkfHdDsDPoIYxx7S9TjKhnQX7Ah6QsKI-zPBKFrC54H0wGZC60Q_NdRebesvYUXwRhQFuZRwvtWmx4_0xoxbylM",
            "price": 639.99,
            "title": "NVIDIA GeForce RTX 5070 12GB GDDR7 Graphics Card",
            "currency": "USD",
            "reviews_count": 228
          },
...
        ],
        "title": "More options"
     }
],
...

Chave(related_items[])

Descrição

Tipo

items

Um array de objetos contendo detalhes de cada item relacionado.

array

items.url

A URL para a página do produto relacionado.

string

items.image

A URL da imagem do produto relacionado.

string

items.price

O preço do produto relacionado na moeda especificada.

float

items.title (opcional)

O título da listagem do produto relacionado.

string

items.rating (opcional)

A avaliação média dos usuários do produto relacionado, tipicamente em uma escala de 5.

integer

items.store (opcional)

O nome da loja ou comerciante que oferece o produto relacionado.

string

items.currency

O código da moeda para o preço do produto.

string

items.reviews_count

O número total de avaliações do produto relacionado.

integer

title

O título ou cabeçalho para a seção de itens relacionados

string

Especificações

Um array de objetos contendo detalhes de especificações do produto.

...
"specifications": [
    {
        "items": [
          {
            "title": "Manufacturer",
            "value": "PNY"
          },
          {
            "title": "Output",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "Interface",
            "value": "PCI Express"
          },
          {
            "title": "Brand",
            "value": "PNY"
          },
...
        ],
        "section_title": "attributes"
      }
],
...

Chave (specifications[])

Descrição

Tipo

items

Um array de objetos contendo detalhes individuais de especificações.

array

items.title

O título da especificação.

string

items.value

O valor da especificação.

string

section_title

O título ou cabeçalho para a seção de especificações.

string

AnteriorPesquisa de Shopping PróximoPreços de Shopping

Atualizado há 2 meses

Isto foi útil?

Boa noite

hashtagAmostras de requisição

hashtagValores dos parâmetros da requisição

hashtagGenérico

hashtagLocalização

hashtagDados estruturados

hashtagDicionário de dados de saída

hashtagEstrutura JSON

hashtagPricing

hashtagAvaliações

hashtagItens Relacionados (Mais opções)

hashtagEspecificações

Amostras de requisição

Valores dos parâmetros da requisição

Genérico

Localização

Dados estruturados

Dicionário de dados de saída

Estrutura JSON

Pricing

Avaliações

Itens Relacionados (Mais opções)

Especificações