购物产品

使用网页爬虫 API 检索详细的 Google Shopping 产品数据，包括价格、评论、规格和变体。

该 google_shopping_product source 从 Google Shopping 检索详细的产品信息（标题、描述、定价、卖家、相关商品、评论等），使用一个 product token 从 google_shopping_search source.

请求示例

在下面的代码示例中，我们使用有效的 token 发起请求以检索 Google Shopping 产品的产品页面。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

import requests
from pprint import pprint


# 构建 payload。
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化的响应打印到 stdout。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

重要： 该 query 参数必须包含通过 google_shopping_search source.

我们在示例中使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参考 integration methods 部分。

请求参数值

通用

用于抓取 Google Shopping 产品页面的基本设置和自定义选项。

参数

描述

默认值

source

设置抓取器。

google_shopping_product

query

来自 google_shopping_search

render

当设置为时启用 JavaScript 渲染 html. 必需以从“更多商店”部分接收额外的定价结果。 更多信息.

parse

当设置为时返回解析后的数据 true。浏览输出 数据字典.

false

callback_url

您回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。完整列表可在这里.

desktop

- 必填参数

本地化

将结果适配到特定地理位置、域名和语言。

参数

描述

默认值

geo_location

应适配结果的地理位置。正确使用此参数对于获得正确的数据非常重要。欲了解更多信息，请阅读我们建议的 geo_location parameter structures 这里.

domain

Google 域名本地化。可用域名的完整列表可在这里.

com

locale

用于界面语言更改的 Accept-Language 标头值。 context 更多信息.

results_language: 结果语言。支持的 Google 语言列表可在

注意：这里.

确保您的本地化参数对于 和 google_shopping_product sources 相同（如果未定义则为 none）。来源之间的区域不一致可能导致数据不完整或不准确。 google_shopping_search 结构化数据

下面您可以找到一个

结构化输出示例针对输出数据字典 google_shopping_product.

19KB

google_shopping_product-output.json

打开

HTML 示例

JSON 结构

下表列出了我们解析的每个产品页面元素的详细列表，包含其描述和数据类型。表中还包含一些元数据。

键

类型

描述

url

指向 Google Shopping 产品页面的 URL。

string

title

（可选） 产品列表的标题。

images

title

产品的详细描述。

在以下部分，当结果类型有多个条目可用时，解析后的 JSON 代码片段会被缩短。

title

包含产品图片的对象。

object

images.full_size

产品全尺寸图片 URL 的数组。

array

images.thumbnails

产品缩略图 URL 的数组。

pricing

images.thumbnails

包含所有在线定价信息的数组。

reviews

images.thumbnails

包含评论信息的对象。（仅限美国）

variants

images.full_size

包含产品变体的对象数组。（颜色、尺寸等）

related_items

images.thumbnails

包含相关商品的对象数组。

specifications

images.thumbnails

包含产品规格的对象数组。

parse_status_code

images.thumbnails

解析任务的状态码。解析器状态码的描述可见

integer 这里.

created_at

创建抓取任务的时间戳。

timestamp

updated_at

抓取任务完成的时间戳。

status_code

updated_at

抓取任务的状态码。抓取器状态码的描述可见

job_id 这里.

created_at

与抓取任务关联的作业 ID。

description

title

定价

包含产品定价信息的对象。

"pricing": {

...
   "online": [
    "price": 559,
        {
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3 Graphics Card",
          "currency": "USD",
          "condition": "New",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
          Key (pricing[])
        },
...
    ]
},
...

online

描述

url

包含产品定价详细信息的对象数组。

online.price

images.thumbnails

产品在指定货币下的价格。

float

online.seller

提供该产品的卖家或商家的名称。

online.details

title

关于产品、购买的附加细节，例如配送和退货政策。

online.currency

title

产品价格的货币代码。

online.condition

title

产品的状况（新旧）。

online.price_tax

title

应用于产品价格的税额。

online.price_total

online.seller

包含税费在内的产品总价。 产品列表的标题。

online.seller_link

online.seller

卖家产品页面的 URL。

online.price_shipping

title

产品的运费。

online.seller

包含产品评论和评分信息的对象。

目前，评论仅在美国区域可用。

"reviews": {

...       
       "rating": 4.7,
    "top_review": {
    "text": "My computer is a Dell Optiplex 9020, i7-4770, 32mb, 500gb SSD. The 3 fan card is a long, and the hard drive cage had to be removed to fit in the Optiplex case. The power supply was upgraded to 750 watts which required an adapter for the Dell motherboard. With those modifications out of the way, installation of the card was drama free, but you have use Google to find the driver in the Nvidia website. I am using this GPU for 3D animation in Blender. I am very pleased with the speed of the rendering with ray tracing in EEVEE and Cycles. As this is an old computer, the computer's CPU never runs at 100%, and I haven't been able to max out this card's capacity yet. I don't hear the fans running but I have never put a high load enough on it yet, I guess. It does have a little electronic buzz when it is rendering.\u00a0Less",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
        "rating_stars": 4.7,
      },
      "reviews_count": 51,
      "reviews_by_stars": {
      "reviews_count": 2
        "1": {
          "reviews_count": 0
        },
        "2": {
          "reviews_count": 3
        },
        "3": {
          "reviews_count": 0
        },
        "4": {
          "reviews_count": 44
        },
        "5": {
          Key(reviews[])
        }
    },
},
...

rating

描述

url

产品的平均评分，通常以 5 分为满分。

top_review

online.seller

包含产品最佳评论详情的对象。 产品列表的标题。

top_review.text

images.full_size

最佳评论的文本内容 产品列表的标题。

top_review.title

title

最佳评论的标题。 产品列表的标题。

top_review.author

title

最佳评论的作者。 产品列表的标题。

top_review.rating

title

最佳评论作者给出的评分，通常以 5 分为满分。 产品列表的标题。

top_review.source

online.seller

发布最佳评论的网站或来源。 产品列表的标题。

rating_stars

title

产品的平均星级评分，通常以 5 星为满分。

reviews_count

online.seller

产品的评论总数。 产品列表的标题。

reviews_by_stars

created_at

包含每个星级评分的评论数量的对象。

reviews_by_stars.url

images.full_size

包含 X 星评论详情的对象。 产品列表的标题。

reviews_by_stars.reviews_count

title

X 星评论的数量。

包含目标产品相关商品的对象数组。

"related_items": [

...             
   "items": [
      {
        "url": "/search?ibp=oshop&prds=catalogid:1368129371371338580,gpcid:14975392695437189622,headlineOfferDocid:2388507960063782588,imageDocid:1618178582933849531,productid:7780474142858650836,pvo:2,pvt:hg,rds:PC_14975392695437189622%7CPROD_PC_14975392695437189622&q=nvidia+rtx&gl=us&hl=en&pvorigin=2",
          {
            "image": "https://encrypted-tbn3.gstatic.com/shopping?q=tbn:ANd9GcScO-LIdlqj1WjcLznMECFXNo4qbZ1TRbkfHdDsDPoIYxx7S9TjKhnQX7Ah6QsKI-zPBKFrC54H0wGZC60Q_NdRebesvYUXwRhQFuZRwvtWmx4_0xoxbylM",
            "price": 639.99,
            "title": "NVIDIA GeForce RTX 5070 12GB GDDR7 Graphics Card",
            "reviews_count": 228
            "condition": "New",
            "title": "More options"
          },
...
        ],
        Key(related_items[])
     }
],
...

items

描述

url

包含每个相关商品详细信息的对象数组。

items.url

images.thumbnails

相关商品页面的 URL。

items.image

title

相关商品图片的 URL。

items.price

title

相关商品在指定货币下的价格。

items.title

online.seller

相关商品列表的标题。 产品列表的标题。

items.rating

title

相关商品的平均用户评分，通常以 5 分为满分。 产品列表的标题。

items.store

created_at

提供相关商品的商店或商家的名称。 产品列表的标题。

items.currency

title

items.reviews_count

online.condition

title

相关商品的评论总数。

相关商品部分的标题或标题文本

created_at

（可选）

规格

title

包含产品规格详情的对象数组。

"specifications": [

...
"title": "Manufacturer",
    {
        "url": "/search?ibp=oshop&prds=catalogid:1368129371371338580,gpcid:14975392695437189622,headlineOfferDocid:2388507960063782588,imageDocid:1618178582933849531,productid:7780474142858650836,pvo:2,pvt:hg,rds:PC_14975392695437189622%7CPROD_PC_14975392695437189622&q=nvidia+rtx&gl=us&hl=en&pvorigin=2",
          {
            "value": "PNY"
            "title": "Output",
          },
          {
            "value": "HDMI, DisplayPort"
            "title": "Interface",
          },
          {
            "value": "PCI Express"
            "title": "Brand",
          },
          {
            "section_title": "attributes"
            "title": "Output",
          },
...
        ],
        Key (specifications[])
      }
],
...

包含各个规格详情的对象数组。

描述

url

包含每个相关商品详细信息的对象数组。

规格的标题。

images.thumbnails

相关商品列表的标题。

items.value

title

规格的值。

规格的值。

title

section_title

该部分规格的标题或标题。

title

最后更新于3天前

这有帮助吗？

下午好

hashtag请求示例

hashtag请求参数值

hashtag通用

hashtag本地化

hashtag下面您可以找到一个

hashtagHTML 示例

hashtag下表列出了我们解析的每个产品页面元素的详细列表，包含其描述和数据类型。表中还包含一些元数据。

hashtag包含产品定价信息的对象。

hashtag包含产品评论和评分信息的对象。

hashtag包含目标产品相关商品的对象数组。

hashtag包含产品规格详情的对象数组。

请求示例

请求参数值

通用

本地化

下面您可以找到一个

HTML 示例

下表列出了我们解析的每个产品页面元素的详细列表，包含其描述和数据类型。表中还包含一些元数据。

包含产品定价信息的对象。

包含产品评论和评分信息的对象。

包含目标产品相关商品的对象数组。

包含产品规格详情的对象数组。