购物商品

使用网页爬虫API 获取详细的 Google Shopping 商品数据，包括价格、评论、规格和变体。

该 google_shopping_product 该源从 Google Shopping 检索详细的商品信息（标题、描述、价格、卖家、相关商品、评论等），使用一个 产品 token 获取自 google_shopping_search (这里) 或 google_search.

请求示例

在下面的代码示例中，我们使用有效 token 发起请求以检索 Google Shopping 产品页。

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

import requests
from pprint import pprint


# Structure payload.
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

https://realtime.oxylabs.io/v1/queries?source=google_shopping_product&query=[product_token_string]&parse=true&access_token=12345abcde

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

{
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": true
}

重要： 该 query 参数必须包含通过以下方式生成的有效 token google_shopping_search source.

我们使用同步 Realtime 集成方式在我们的示例中使用。如果你想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参见 集成方法 部分。

请求参数值

通用

用于抓取 Google Shopping 产品页的基础设置和自定义选项。

参数

描述

默认值

source

设置抓取器。

google_shopping_product

query

产品 token 来自 google_shopping_search 或 google_search

render

设置为时启用 JavaScript 渲染 html. 必填以从“More stores”部分获取额外价格结果。 更多信息.

parse

设置为时返回解析后的数据 true。查看输出 数据字典.

false

callback_url

你的回调端点 URL。 更多信息

user_agent_type

设备类型和浏览器。完整列表可见这里.

desktop

- 必填参数

本地化

将结果适配到特定地理位置、域名和语言。

注意： 本地化参数（gl 和 hl）现已嵌入产品 token 中。要检索 google_shopping_products 与原始搜索结果匹配的数据，我们建议将这些字段留空，除非确实需要覆盖。

参数

描述

默认值

geo_location

结果应适配的地理位置。正确使用此参数对获取正确数据极其重要。更多信息请阅读我们建议的 geo_location 参数结构这里.

locale

Accept-Language 请求头值，用于界面语言更改。 更多信息.

结构化数据

下面可以找到一个 结构化输出示例 用于 google_shopping_product.

google_shopping_product-output.json

19KB

打开

输出数据字典

HTML 示例

JSON 结构

下表展示了我们解析的每个商品页元素的详细列表，以及其描述和数据类型。该表还包含一些元数据。

键

描述

类型

url

Google Shopping 产品页的 URL。

字符串

title （可选）

商品列表的标题。

字符串

description

商品的详细描述。

字符串

images

包含商品图片的对象。

对象

images.full_size

商品完整尺寸图片 URL 数组。

数组

images.thumbnails

商品缩略图 URL 数组。

数组

pricing

包含所有在线价格信息的数组。

数组

reviews

包含评论信息的对象。（仅限美国）

对象

variants

包含商品变体的对象数组。（颜色、尺寸等）

数组

related_items

包含相关商品的对象数组。

数组

specifications

包含商品规格的对象数组。

数组

parse_status_code

解析任务的状态码。你可以查看如下所述的解析器状态码这里.

整数

created_at

抓取任务创建时的时间戳。

时间戳

updated_at

抓取任务完成时的时间戳。

时间戳

status_code

抓取任务的状态码。你可以查看如下所述的抓取器状态码这里.

整数

job_id

与抓取任务关联的任务 ID。

字符串

在以下部分中，当某个结果类型有多个项目时，解析后的 JSON 代码片段会被缩短。

价格

包含商品价格信息的对象。

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3 Graphics Card",
          "currency": "USD",
          "condition": "New",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

键（pricing[]）

描述

类型

online

包含商品价格详情的对象数组。

数组

online.price

指定货币下的商品价格。

浮点数

online.seller

提供该商品的卖家或商家名称。

字符串

online.details

关于产品和购买的其他详情，例如送货和退货政策。

字符串

online.currency

产品价格的货币代码。

字符串

online.condition

产品状况。

字符串

online.seller_link

产品卖家页面的 URL。

字符串

online.price_shipping

产品的运费。

浮点数

一个包含产品评论和评分信息的对象。

目前，评论仅在美国地区可用。

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "My computer is a Dell Optiplex 9020, i7-4770, 32mb, 500gb SSD. The 3 fan card is a long, and the hard drive cage had to be removed to fit in the Optiplex case. The power supply was upgraded to 750 watts which required an adapter for the Dell motherboard. With those modifications out of the way, installation of the card was drama free, but you have use Google to find the driver in the Nvidia website. I am using this GPU for 3D animation in Blender. I am very pleased with the speed of the rendering with ray tracing in EEVEE and Cycles. As this is an old computer, the computer's CPU never runs at 100%, and I haven't been able to max out this card's capacity yet. I don't hear the fans running but I have never put a high load enough on it yet, I guess. It does have a little electronic buzz when it is rendering.\u00a0Less",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "review_count_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

Key(reviews[])

描述

类型

rating

产品的平均评分，通常满分为 5。

浮点数

top_review （可选）

一个包含产品最佳评论详情的对象。

对象

top_review.text （可选）

顶级评论的文本内容

字符串

top_review.title （可选）

顶级评论的标题。

字符串

top_review.author （可选）

顶级评论的作者。

字符串

top_review.rating （可选）

顶级评论作者给出的评分，通常满分为 5。

浮点数

top_review.source （可选）

发布顶级评论的来源或网站。

字符串

rating_stars

产品的平均评分，通常满分为 5 星。

浮点数

reviews_count （可选）

产品的评论总数。

整数

review_count_by_stars

一个包含每个星级评论数量的对象。

对象

review_count_by_stars.url （可选）

一个包含 X 星评论详情的对象。

字符串

review_count_by_stars.reviews_count

X 星评论的数量。

整数

规格

一个包含产品规格详情的对象数组。

...
"specifications": [
    {
        "items": [
          {
            "title": "Manufacturer",
            "value": "PNY"
          },
          {
            "title": "Output",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "Interface",
            "value": "PCI Express"
          },
          {
            "title": "Brand",
            "value": "PNY"
          },
...
        ],
        "section_title": "attributes"
      }
],
...

Key (specifications[])

描述

类型

items.title

规格标题。

字符串

items.value

规格的值。

字符串

最后更新于 1个月前

这有帮助吗？

晚上好

购物商品

请求示例

请求参数值

通用

本地化

结构化数据

输出数据字典

JSON 结构

价格

评论

相关商品（更多选项）

规格