购物商品

使用网页爬虫API 检索详细的 Google Shopping 产品数据，包括价格、评论、规格和变体。

该 google_shopping_product source 从 Google Shopping 检索详细商品信息（标题、描述、定价、卖家、相关商品、评论等），使用一个 产品令牌 获取自 google_shopping_search (此处）或 google_search.

请求示例

在下面的代码示例中，我们使用一个有效令牌发起请求，以检索 Google Shopping 商品的商品页。

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

Python

import requests
from pprint import pprint


# 结构化载荷。
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

https://realtime.oxylabs.io/v1/queries?source=google_shopping_product&query=[product_token_string]&parse=true&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) => {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": true
}

重要： 该 查询 参数必须包含通过以下方式生成的有效令牌 google_shopping_search source.

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

用于抓取 Google Shopping 商品页的基础设置和自定义选项。

参数	描述	默认值
source	设置抓取器。	google_shopping_product
查询	产品令牌来源于 google_shopping_search 或 google_search	-
render	设置为时启用 JavaScript 渲染 html. 必需 以从“更多商店”部分获取额外价格结果。 更多信息.	-
解析	设置为以下值时返回解析后的数据： true。查看输出 数据字典.	false
callback_url	回调端点的 URL。 更多信息	-
user_agent_type	设备类型和浏览器。完整列表可在 此处.	desktop

- 必填参数

本地化

将结果适配到特定地理位置、域名和语言。

注意： 本地化参数（gl 和 hl）现在已嵌入到产品令牌中。要检索 google_shopping_products 与原始搜索结果匹配的数据，除非确实需要覆盖，否则建议将这些字段留空。

参数	描述	默认值
geo_location	结果应适配的地理位置。正确使用此参数对于获取正确数据极其重要。有关更多信息，请阅读我们建议的 geo_location 参数结构 此处.	-
locale	Accept-Language 用于界面语言切换的 header 值。 更多信息.	-

结构化数据

下面可以找到一个 结构化输出示例 为 google_shopping_product.

google_shopping_product-output.json

19KB

打开

输出数据字典

HTML 示例

JSON 结构

下表详细列出了我们解析的每个商品页面元素，以及对应的描述和数据类型。表中还包含一些元数据。

键	描述	类型
url	Google Shopping 商品页面的 URL。	字符串
title （可选）	商品列表的标题。	字符串
description	商品的详细描述。	字符串
images	包含商品图片的对象。	对象
images.full_size	包含商品大图 URL 的数组。	数组
images.thumbnails	包含商品缩略图 URL 的数组。	数组
pricing	包含所有在线价格信息的数组。	数组
reviews	包含评论信息的对象。（仅限美国）	对象
variants	包含商品变体（颜色、尺寸等）的对象数组。	数组
related_items	包含相关项目的对象数组。	数组
规格	包含商品规格信息的对象数组。	数组
parse_status_code	解析任务的状态码。你可以查看所描述的解析器状态码 此处.	整数
创建时间	抓取任务创建时的时间戳。	时间戳
更新时间	抓取任务完成时的时间戳。	时间戳
状态码	抓取任务的状态码。你可以查看所描述的抓取器状态码 此处.	整数
任务ID	与该抓取任务关联的任务 ID。	字符串

在以下部分中，当某个结果类型有多个项目可用时，已将解析后的 JSON 代码片段缩短。

Pricing

包含商品价格信息的对象。

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12GB Xlr8 Gaming Verto Epic-x RGB 三风扇 DLSS 3 显卡",
          "currency": "USD",
          "condition": "New",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

键（pricing[]）	描述	类型
online	包含商品价格详情的对象数组。	数组
online.price	指定货币下的商品价格。	浮点数
online.seller	提供该商品的卖家或商家名称。	字符串
online.details	有关商品购买的其他详情，如配送和退货政策。	字符串
online.currency	商品价格的货币代码。	字符串
online.condition	商品的成色。	字符串
online.seller_link	卖家商品页面的 URL。	字符串
online.price_shipping	商品运费。	浮点数

评论

包含商品评论和评分信息的对象。

目前，评论仅在美国地区可用。

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "我的电脑是 Dell Optiplex 9020，i7-4770，32MB，500GB SSD。这块三风扇显卡很长，为了装进 Optiplex 机箱，必须拆掉硬盘笼。电源升级到 750 瓦，这需要一个 Dell 主板适配器。完成这些改装后，显卡安装过程很顺利，但你得用 Google 在 Nvidia 网站上找驱动。我用这块 GPU 在 Blender 中进行 3D 动画。我对 EEVEE 和 Cycles 中光线追踪渲染的速度非常满意。由于这是一台老电脑，CPU 从来不会跑到 100%，而且我还没能把这块显卡的性能完全榨干。我听不到风扇在转，但我想是因为我还没有给它施加足够高的负载。渲染时它会有一点电子嗡鸣。\u00a0更少",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "在 walmart.com 上评论"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "review_count_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

键(reviews[])	描述	类型
rating	商品的平均评分，通常满分为 5。	浮点数
top_review （可选）	包含商品最佳评论详情的对象。	对象
top_review.text （可选）	最佳评论的文本内容	字符串
top_review.title （可选）	最佳评论的标题。	字符串
top_review.author （可选）	最佳评论的作者。	字符串
top_review.rating （可选）	最佳评论作者给出的评分，通常满分为 5。	浮点数
top_review.source （可选）	发布最佳评论的网站或来源。	字符串
rating_stars	商品的平均评分，通常满分为 5 星。	浮点数
reviews_count （可选）	商品评论总数。	整数
review_count_by_stars	包含各星级评论数量的对象。	对象
review_count_by_stars.url （可选）	包含 X 星级评论详情的对象。	字符串
review_count_by_stars.reviews_count	X 星级评论数量。	整数

相关商品（更多选项）

包含目标商品相关项目的对象数组。

...             
   "related_items": [
      {
        "items": [
          {
            "url": "/search?ibp=oshop&prds=catalogid:1368129371371338580,gpcid:14975392695437189622,headlineOfferDocid:2388507960063782588,imageDocid:1618178582933849531,productid:7780474142858650836,pvo:2,pvt:hg,rds:PC_14975392695437189622%7CPROD_PC_14975392695437189622&q=nvidia+rtx&gl=us&hl=en&pvorigin=2",
            "image": "https://encrypted-tbn3.gstatic.com/shopping?q=tbn:ANd9GcScO-LIdlqj1WjcLznMECFXNo4qbZ1TRbkfHdDsDPoIYxx7S9TjKhnQX7Ah6QsKI-zPBKFrC54H0wGZC60Q_NdRebesvYUXwRhQFuZRwvtWmx4_0xoxbylM",
            "price": 639.99,
            "title": "NVIDIA GeForce RTX 5070 12GB GDDR7 显卡",
            "currency": "USD",
            "reviews_count": 228
          },
...
        ],
        "title": "更多选项"
     }
],
...

键(related_items[])	描述	类型
items	包含每个相关项目详情的对象数组。	数组
items.url	相关商品页面的 URL。	字符串
items.image	相关商品图片的 URL。	字符串
items.price	指定货币下的相关商品价格。	浮点数
items.title （可选）	相关商品列表的标题。	字符串
items.rating （可选）	相关商品的用户平均评分，通常满分为 5。	整数
items.store （可选）	提供该相关商品的商店或商家的名称。	字符串
items.currency	商品价格的货币代码。	字符串
items.reviews_count	相关商品的评论总数。	整数
title	相关商品部分的标题或标题文本	字符串

规格

包含商品规格详情的对象数组。

...
"specifications": [
    {
        "items": [
          {
            "title": "Manufacturer",
            "value": "PNY"
          },
          {
            "title": "Output",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "Interface",
            "value": "PCI Express"
          },
          {
            "title": "Brand",
            "value": "PNY"
          },
...
        ],
        "section_title": "attributes"
      }
],
...

键 (specifications[])	描述	类型
items.title	规格的标题。	字符串
items.value	规格的值。	字符串