购物产品

使用 Web Scraper API 检索详细的 Google Shopping 产品数据，包括价格、评论、规格和变体。

该 google_shopping_product source 使用一个从 Google Shopping 获取的详细产品信息（标题、描述、价格、卖家、相关商品、评论等）的 product token 从 google_shopping_search source.

请求示例

在下面的代码示例中，我们使用有效的 token 发出请求以检索 Google Shopping 产品的产品页面。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

import requests
from pprint import pprint


# 构建负载。
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化后的响应打印到 stdout。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

重要： 该 query 参数必须包含通过生成的有效 token google_shopping_search source.

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

用于抓取 Google Shopping 产品页面的基本设置和自定义选项。

参数

描述

默认值

source

设置爬虫。

google_shopping_product

query

来自的产品 token google_shopping_search

render

当设置为时启用 JavaScript 渲染 html. 必填以从“更多商店”部分接收额外的价格结果。 更多信息.

parse

当设置为时返回解析后的数据 true。查看输出 数据字典.

false

callback_url

回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。完整列表可在 here.

desktop

- 必填参数

本地化

将结果适配到特定的地理位置、域名和语言。

参数

描述

默认值

geo_location

应适配结果的地理位置。正确使用此参数对于获取正确数据非常重要。有关更多信息，请阅读我们建议的 geo_location 参数结构 here.

locale

Accept-Language 用于界面语言更改的 header 值。 更多信息.

context: results_language

结果语言。受支持的 Google 语言列表可在 here.

注意： 确保您用于的本地化参数在各源之间相同（未定义则为无）。源之间的区域不一致可能导致数据不完整或不准确。 google_shopping_product 和 google_shopping_search 源之间的区域不一致可能导致数据不完整或不准确。

结构化数据

下面您可以找到一个 结构化输出示例 之间， google_shopping_product.

19KB

google_shopping_product-output.json

打开

输出数据字典

HTML 示例

JSON 结构

下表列出我们解析的每个产品页面元素的详细列表，以及其描述和数据类型。表中还包括一些元数据。

键

描述

类型

url

指向 Google Shopping 产品页面的 URL。

字符串

title （可选）

产品列表的标题。

字符串

description

产品的详细描述。

字符串

images

包含产品图片的对象。

对象

images.full_size

产品全尺寸图片的 URL 数组。

数组

images.thumbnails

产品缩略图图片的 URL 数组。

数组

pricing

包含所有在线价格信息的数组。

数组

reviews

包含评论信息的对象。（仅限美国）

对象

variants

包含产品变体的对象数组。（颜色、尺寸等）

数组

related_items

包含相关商品的对象数组。

数组

specifications

包含产品规格的对象数组。

数组

parse_status_code

解析任务的状态代码。您可以在此处查看解析器状态代码的描述 here.

整数

created_at

抓取任务创建的时间戳。

timestamp

updated_at

抓取任务完成的时间戳。

timestamp

status_code

抓取任务的状态代码。您可以在此处查看抓取器状态代码的描述 here.

整数

job_id

与抓取任务关联的作业 ID。

字符串

在下列部分，当某个结果类型存在多个项目时，解析后的 JSON 代码片段会被缩短。

定价

包含产品定价信息的对象。

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3 Graphics Card",
          "currency": "USD",
          "condition": "New",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

键 (pricing[])

描述

类型

online

包含产品在线定价详情的对象数组。

数组

online.price

指定货币下产品的价格。

浮点数

online.seller

提供该产品的卖家或商家的名称。

字符串

online.details

有关产品或购买的附加详情，例如交付和退货政策。

字符串

online.currency

产品价格使用的货币代码。

字符串

online.condition

产品的状态（成色）。

字符串

online.price_tax

应用于产品价格的税额。

浮点数

online.price_total （可选）

包含税费在内的产品总价。

浮点数

online.seller_link

指向该产品卖家页面的 URL。

字符串

online.price_shipping

产品的运费。

浮点数

包含产品评论和评分信息的对象。

目前，评论仅在美国地区可用。

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "My computer is a Dell Optiplex 9020, i7-4770, 32mb, 500gb SSD. The 3 fan card is a long, and the hard drive cage had to be removed to fit in the Optiplex case. The power supply was upgraded to 750 watts which required an adapter for the Dell motherboard. With those modifications out of the way, installation of the card was drama free, but you have use Google to find the driver in the Nvidia website. I am using this GPU for 3D animation in Blender. I am very pleased with the speed of the rendering with ray tracing in EEVEE and Cycles. As this is an old computer, the computer's CPU never runs at 100%, and I haven't been able to max out this card's capacity yet. I don't hear the fans running but I have never put a high load enough on it yet, I guess. It does have a little electronic buzz when it is rendering.\u00a0Less",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "reviews_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

键(reviews[])

描述

类型

rating

产品的平均评分，通常满分为 5。

浮点数

top_review （可选）

包含产品最佳评论详情的对象。

对象

top_review.text （可选）

最佳评论的文本内容

字符串

top_review.title （可选）

最佳评论的标题。

字符串

top_review.author （可选）

最佳评论的作者。

字符串

top_review.rating （可选）

最佳评论作者给出的评分，通常满分为 5。

浮点数

top_review.source （可选）

发布最佳评论的网站或来源。

字符串

rating_stars

产品的平均评分，通常以 5 星制表示。

浮点数

reviews_count （可选）

该产品的评论总数。

整数

reviews_by_stars

包含每个星级评分的评论计数的对象。

对象

reviews_by_stars.url （可选）

包含 X 星评论详情的对象。

字符串

reviews_by_stars.reviews_count

X 星评论的数量。

整数

规格

包含产品规格详情的对象数组。

...
"specifications": [
    {
        "items": [
          {
            "title": "Manufacturer",
            "value": "PNY"
          },
          {
            "title": "Output",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "Interface",
            "value": "PCI Express"
          },
          {
            "title": "Brand",
            "value": "PNY"
          },
...
        ],
        "section_title": "attributes"
      }
],
...

键 (specifications[])

描述

类型

项目

包含单项规格详情的对象数组。

数组

items.title

规格的标题。

字符串

items.value

规格的值。

字符串

section_title

规格部分的标题或抬头。

字符串

最后更新于8天前

这有帮助吗？

下午好

购物产品

请求示例

请求参数值

通用

本地化

结构化数据

输出数据字典

JSON 结构

定价

评论

相关商品（更多选项）

规格

下午好

hashtag请求示例

hashtag请求参数值

hashtag通用

hashtag本地化

hashtag结构化数据

hashtag输出数据字典

hashtagJSON 结构

hashtag定价

hashtag评论

hashtag相关商品（更多选项）

hashtag规格

请求示例

请求参数值

通用

本地化

结构化数据

输出数据字典

JSON 结构

定价

评论

相关商品（更多选项）

规格