购物商品

使用网页爬虫API 获取详细的 Google Shopping 商品数据，包括价格、评论、规格和变体。

该 google_shopping_product source 使用 a 从 Google Shopping 获取详细的产品信息（标题、描述、价格、卖家、相关商品、评论等） product token 来自 google_shopping_search source.

请求示例

在下面的代码示例中，我们使用有效的 token 发起请求，以检索 Google Shopping 商品的商品页面。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
       "source": "google_shopping_product",
       "query": "<PRODUCT_TOKEN>",
       "render": "html",
       "parse": true
    }'

import requests
from pprint import pprint


# 结构化负载。
payload = {
    "source": "google_shopping_product",
    "query": "[product_token_string]",
    "render": "html",
    "parse": True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化后的响应打印到标准输出。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_product",
    query: "[product_token_string]",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_shopping_product',
    'query' => '[product_token_string]',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_product",
		"query": "[product_token_string]",
		"render": "html",
		"parse": true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_product",
                query = "[product_token_string]",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_product");
        jsonObject.put("query", "[product_token_string]");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

重要： 该 query 参数必须包含通过该生成的有效 token google_shopping_search source.

我们使用同步的 Realtime 集成方法作为示例。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

用于抓取 Google Shopping 商品页面的基础设置和自定义选项。

参数

说明

默认值

source

设置爬虫。

google_shopping_product

query

来自的 product token google_shopping_search

render

设置为 html. 必需以便从 "More stores" 部分获取额外的价格结果。 更多信息.

parse

设置为 true时返回解析后的数据。查看输出 数据字典.

false

callback_url

您的回调端点 URL。 更多信息

user_agent_type

设备类型和浏览器。完整列表可在这里.

desktop

- 必填参数

本地化

将结果适配到特定的地理位置、域名和语言。

参数

说明

默认值

geo_location

结果应适配的地理位置。正确使用此参数对于获取正确数据极其重要。有关更多信息，请阅读我们建议的 geo_location 参数结构这里.

locale

Accept-Language 用于界面语言更改的 header 值。 更多信息.

注意： 请确保你为 google_shopping_product 和 google_shopping_search sources 的本地化参数一致（未定义则为 none）。sources 之间的区域不匹配可能导致数据不完整或不准确。

结构化数据

下面可以找到一个 结构化输出示例 用于 google_shopping_product.

19KB

google_shopping_product-output.json

打开

输出数据字典

HTML 示例

JSON 结构

下表列出了我们解析的每个商品页面元素的详细列表，以及它们的描述和数据类型。表中还包括一些元数据。

键

说明

类型

url

Google Shopping 商品页面的 URL。

字符串

title （可选）

商品列表的标题。

字符串

描述

商品的详细描述。

字符串

images

包含商品图片的 object。

对象

images.full_size

包含商品全尺寸图片 URL 的 array。

数组

images.thumbnails

包含商品缩略图 URL 的 array。

数组

pricing

包含所有在线价格信息的 array。

数组

reviews

包含评论信息的 object。（仅限美国）

对象

variants

包含商品变体（颜色、尺寸等）的 object array。

数组

related_items

包含相关商品的 object array。

数组

specifications

包含商品规格的 object array。

数组

parse_status_code

解析任务的状态码。你可以查看所描述的解析器状态码这里.

整数

created_at

抓取任务创建时的时间戳。

timestamp

updated_at

抓取任务完成时的时间戳。

timestamp

status_code

抓取任务的状态码。你可以查看所描述的抓取器状态码这里.

整数

job_id

与抓取任务关联的任务 ID。

字符串

在以下部分中，当某种结果类型包含多个项目时，解析后的 JSON 代码片段会被缩短。

价格信息

包含商品价格信息的 object。

...
   "pricing": {
    "online": [
        {
          "price": 559,
          "seller": "Walmart - Seller",
          "details": "Pny GeForce RTX 4070 GPU 12gb Xlr8 Gaming Verto Epic-x RGB Triple Fan Dlss 3 Graphics Card",
          "currency": "USD",
          "condition": "全新",
          "seller_link": "https://www.walmart.com/ip/PNY-GeForce-RTX-4070-GPU-12GB-XLR8-Gaming-VERTO-EPIC-X-RGB-Triple-Fan-DLSS-3-Graphics-Card/1396859462?wmlspartner=wlpa&selectedSellerId=101035116&selectedOfferId=159733DADC653E1891C050148D16D747&conditionGroupCode=1",
          "price_shipping": 22.05
        },
...
    ]
},
...

键（pricing[])

说明

类型

online

包含该商品价格详情的 object array。

数组

online.price

指定货币中的商品价格。

浮点数

online.seller

提供该商品的卖家或商家名称。

字符串

online.details

关于商品购买的附加信息，如配送和退货政策。

字符串

online.currency

商品价格的货币代码。

字符串

online.condition

商品状况。

字符串

online.price_tax

应用于商品价格的税额。

浮点数

online.price_total （可选）

包含税费在内的商品总价。

浮点数

online.seller_link

卖家该商品页面的 URL。

字符串

online.price_shipping

商品的运费。

浮点数

包含该商品评论和评分信息的 object。

目前，评论仅适用于美国 locale。

...       
       "reviews": {
    "rating": 4.7,
    "top_review": {
        "text": "My computer is a Dell Optiplex 9020, i7-4770, 32mb, 500gb SSD. The 3 fan card is a long, and the hard drive cage had to be removed to fit in the Optiplex case. The power supply was upgraded to 750 watts which required an adapter for the Dell motherboard. With those modifications out of the way, installation of the card was drama free, but you have use Google to find the driver in the Nvidia website. I am using this GPU for 3D animation in Blender. I am very pleased with the speed of the rendering with ray tracing in EEVEE and Cycles. As this is an old computer, the computer's CPU never runs at 100%, and I haven't been able to max out this card's capacity yet. I don't hear the fans running but I have never put a high load enough on it yet, I guess. It does have a little electronic buzz when it is rendering.\u00a0Less",
        "author": "walmart.com Shopper",
        "rating": 5,
        "source": "Reviewed on walmart.com"
      },
      "rating_stars": 4.7,
      "reviews_count": 51,
      "reviews_by_stars": {
        "1": {
          "reviews_count": 2
        },
        "2": {
          "reviews_count": 0
        },
        "3": {
          "reviews_count": 2
        },
        "4": {
          "reviews_count": 3
        },
        "5": {
          "reviews_count": 44
        }
    },
},
...

键(reviews[])

说明

类型

rating

商品的平均评分，通常满分为 5。

浮点数

top_review （可选）

包含该商品顶级评论详情的 object。

对象

top_review.text （可选）

顶级评论的文本内容

字符串

top_review.title （可选）

顶级评论的标题。

字符串

top_review.author （可选）

顶级评论作者。

字符串

top_review.rating （可选）

顶级评论作者给出的评分，通常满分为 5。

浮点数

top_review.source （可选）

发布顶级评论的网站或来源。

字符串

rating_stars

商品的平均评分，通常满分为 5 星。

浮点数

reviews_count （可选）

商品的评论总数。

整数

reviews_by_stars

包含各星级评论数量的 object。

对象

reviews_by_stars.url （可选）

包含 X 星评论详情的 object。

字符串

reviews_by_stars.reviews_count

X 星评论的数量。

整数

规格

包含商品规格详情的 object array。

...
"specifications": [
    {
        "items": [
          {
            "title": "制造商",
            "value": "PNY"
          },
          {
            "title": "输出",
            "value": "HDMI, DisplayPort"
          },
          {
            "title": "接口",
            "value": "PCI Express"
          },
          {
            "title": "品牌",
            "value": "PNY"
          },
...
        ],
        "section_title": "属性"
      }
],
...

键 (specifications[])

说明

类型

项目

包含各项单独规格详情的 object array。

数组

items.title

规格的标题。

字符串

items.value

规格的值。

字符串

section_title

规格部分的标题或表头。

字符串

最后更新于 24天前

这有帮助吗？

晚上好

购物商品

请求示例

请求参数值

通用

本地化

结构化数据

输出数据字典

JSON 结构

价格信息

评论

相关商品（更多选项）

规格