Produto do Shopping

Recupere dados detalhados de produtos do Google Shopping, incluindo preços, avaliações, especificações e variações usando Web Scraper API.

O google_shopping_product a fonte recupera informações detalhadas do produto (título, descrição, preços, vendedores, itens relacionados, avaliações etc.) do Google Shopping usando um token do produto obtido de google_shopping_search (aqui) ou google_search.

Exemplos de requisição

No exemplo de código abaixo, fazemos uma solicitação para recuperar a página do produto de um produto do Google Shopping usando um token válido.

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

Python

import requests
from pprint import pprint


# Structure payload.
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

https://Realtime.oxylabs.io/v1/queries?source=google_shopping_product&query=[product_token_string]&parse=true&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": true
}

Importante: O query o parâmetro deve conter um token válido gerado por meio do google_shopping_search source.

Usamos o método de integração síncrona Realtime método de integração em nossos exemplos. Se você quiser usar Proxy Endpoint ou assíncrono Push-Pull de integração, consulte a métodos de integração seção.

Valores dos parâmetros da solicitação

Genérico

Configuração básica e opções de personalização para extrair páginas de produtos do Google Shopping.

Parâmetro	Descrição	Valor padrão
source	Define o scraper.	google_shopping_product
query	O token do produto de google_shopping_search ou google_search	-
render	Ativa a renderização de JavaScript quando definido como html. Obrigatório para receber resultados de preços adicionais da seção "Mais lojas". Mais informações.	-
parse	Retorna os dados analisados quando definido como verdadeiro. Explorar saída dicionário de dados.	false
callback_url	URL para seu endpoint de callback. Mais informações	-
user_agent_type	Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.	desktop

- parâmetro obrigatório

Localização

Adapte os resultados a locais geográficos, domínios e idiomas específicos.

Observação: Os parâmetros de localidade (gl e hl) agora estão incorporados ao token do produto. Para recuperar google_shopping_products dados correspondentes ao resultado de busca original, recomendamos deixar esses campos vazios, a menos que substituições sejam intencionalmente necessárias.

Parâmetro	Descrição	Valor padrão
geo_location	O local geográfico para o qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros sugeridas aqui.	-
locale	Accept-Language valor do cabeçalho para mudanças no idioma da interface. Mais informações.	-

Dados estruturados

Abaixo você pode encontrar um exemplo de saída estruturada para google_shopping_product.

google_shopping_product-output.json

19KB

Abrir

Dicionário de dados de saída

Exemplo de HTML

Estrutura JSON

A tabela abaixo apresenta uma lista detalhada de cada elemento da página de produto que analisamos, junto com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

Chave	Descrição	Tipo
url	A URL da página do produto do Google Shopping.	string
title (opcional)	O título do anúncio do produto.	string
description	Uma descrição detalhada do produto.	string
images	Um objeto contendo imagens do produto.	objeto
images.full_size	Um array de URLs para imagens em tamanho real do produto.	array
images.thumbnails	Um array de URLs para imagens em miniatura do produto.	array
pricing	Um array contendo todas as informações de preços online.	array
reviews	Um objeto contendo informações de avaliações. (somente EUA)	objeto
variantes	Um array de objetos contendo variantes do produto. (cores, tamanhos etc.)	array
related_items	Um array de objetos contendo itens relacionados.	array
especificações	Um array de objetos contendo especificações do produto.	array
parse_status_code	O código de status do trabalho de parsing. Você pode ver os códigos de status do parser descritos aqui.	integer
criado_em	O timestamp em que o trabalho de scraping foi criado.	carimbo_de_data_hora
atualizado_em	O timestamp em que o trabalho de scraping foi concluído.	carimbo_de_data_hora
código_de_status	O código de status do trabalho de scraping. Você pode ver os códigos de status do scraper descritos aqui.	integer
id_do_trabalho	O ID do trabalho associado ao trabalho de scraping.	string

Nas seções a seguir, os trechos de código JSON analisados são encurtados quando há mais de um item disponível para o tipo de resultado.

Preços

Um objeto contendo informações de preços do produto.

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Placa de vídeo PNY GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3",
          "currency": "USD",
          "condition": "Novo",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

Chave (pricing[])	Descrição	Tipo
online	Um array de objetos contendo detalhes de preços do produto.	array
online.price	O preço do produto na moeda especificada.	ponto flutuante
online.seller	O nome do vendedor ou comerciante que oferece o produto.	string
online.details	Detalhes adicionais sobre o produto e a compra, como políticas de entrega e devolução.	string
online.currency	O código da moeda do preço do produto.	string
online.condition	A condição do produto.	string
online.seller_link	A URL da página do vendedor para o produto.	string
online.price_shipping	O custo de envio do produto.	ponto flutuante

Avaliações

Um objeto contendo informações de avaliações e classificações do produto.

No momento, as avaliações estão disponíveis apenas na localidade dos EUA.

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "Meu computador é um Dell Optiplex 9020, i7-4770, 32mb, SSD de 500gb. A placa de 3 ventoinhas é longa, e a gaiola do disco rígido teve que ser removida para caber no gabinete do Optiplex. A fonte de alimentação foi atualizada para 750 watts, o que exigiu um adaptador para a placa-mãe Dell. Com essas modificações resolvidas, a instalação da placa foi tranquila, mas você precisa usar o Google para encontrar o driver no site da Nvidia. Estou usando esta GPU para animação 3D no Blender. Estou muito satisfeito com a velocidade da renderização com ray tracing no EEVEE e no Cycles. Como este é um computador antigo, a CPU do computador nunca chega a 100%, e ainda não consegui usar a capacidade máxima desta placa. Não ouço os ventiladores funcionando, mas acho que ainda não a submeti a uma carga alta o suficiente. Ela emite um leve zumbido eletrônico quando está renderizando.\u00a0Menos",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "review_count_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

Chave(reviews[])	Descrição	Tipo
rating	A classificação média do produto, normalmente de 5.	ponto flutuante
top_review (opcional)	Um objeto contendo detalhes da principal avaliação do produto.	objeto
top_review.text (opcional)	O conteúdo textual da principal avaliação	string
top_review.title (opcional)	O título da principal avaliação.	string
top_review.author (opcional)	O autor da principal avaliação.	string
top_review.rating (opcional)	A classificação dada pelo autor da principal avaliação, normalmente de 5.	ponto flutuante
top_review.source (opcional)	A fonte ou site onde a principal avaliação foi publicada.	string
rating_stars	A classificação média do produto, normalmente de 5 estrelas.	ponto flutuante
reviews_count (opcional)	O número total de avaliações do produto.	integer
review_count_by_stars	Um objeto contendo a contagem de avaliações para cada classificação por estrelas.	objeto
review_count_by_stars.url (opcional)	Um objeto contendo detalhes de avaliações com X estrelas.	string
review_count_by_stars.reviews_count	A quantidade de avaliações com X estrelas.	integer

Itens relacionados (Mais opções)

Um array de objetos contendo itens relacionados ao produto-alvo.

...             
   "related_items": [
      {
        "items": [
          {
            "url": "/search?ibp=oshop&prds=catalogid:1368129371371338580,gpcid:14975392695437189622,headlineOfferDocid:2388507960063782588,imageDocid:1618178582933849531,productid:7780474142858650836,pvo:2,pvt:hg,rds:PC_14975392695437189622%7CPROD_PC_14975392695437189622&q=nvidia+rtx&gl=us&hl=en&pvorigin=2",
            "image": "https://encrypted-tbn3.gstatic.com/shopping?q=tbn:ANd9GcScO-LIdlqj1WjcLznMECFXNo4qbZ1TRbkfHdDsDPoIYxx7S9TjKhnQX7Ah6QsKI-zPBKFrC54H0wGZC60Q_NdRebesvYUXwRhQFuZRwvtWmx4_0xoxbylM",
            "price": 639.99,
            "title": "Placa de vídeo NVIDIA GeForce RTX 5070 12GB GDDR7",
            "currency": "USD",
            "reviews_count": 228
          },
...
        ],
        "title": "Mais opções"
     }
],
...

Chave(related_items[])	Descrição	Tipo
items	Um array de objetos contendo detalhes de cada item relacionado.	array
items.url	A URL da página do produto relacionado.	string
items.image	A URL da imagem do produto relacionado.	string
items.price	O preço do produto relacionado na moeda especificada.	ponto flutuante
items.title (opcional)	O título do anúncio do produto relacionado.	string
items.rating (opcional)	A classificação média dos usuários do produto relacionado, normalmente de 5.	integer
items.store (opcional)	O nome da loja ou comerciante que oferece o produto relacionado.	string
items.currency	O código da moeda do preço do produto.	string
items.reviews_count	O número total de avaliações do produto relacionado.	integer
title	O título ou cabeçalho da seção de itens relacionados	string

Especificações

Um array de objetos contendo detalhes de especificações do produto.

...
"specifications": [
    {
        "items": [
          {
            "title": "Fabricante",
            "value": "PNY"
          },
          {
            "title": "Saída",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "Interface",
            "value": "PCI Express"
          },
          {
            "title": "Marca",
            "value": "PNY"
          },
...
        ],
        "section_title": "atributos"
      }
],
...

Chave (specifications[])	Descrição	Tipo
items.title	O título da especificação.	string
items.value	O valor da especificação.	string