购物搜索

提取 Google Shopping 搜索结果的解析数据，包括自然产品列表和付费列表广告，以及价格、评分、评论、产品令牌等。

该 google_shopping_search source 返回来自 Google Shopping 的搜索结果。每个渲染结果都包含一个 产品令牌 这是使用该项收集产品数据所必需的 google_shopping_product source.

请求示例

在下面的代码示例中，我们搜索 "Nvidia RTX" 以获取产品 令牌 在响应中。

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
    "source": "google_shopping_search",
    "query": "nvidia rtx",
    "render": "html",
    "parse": true
    }'

Python

import requests
from pprint import pprint


# 结构化载荷。
payload = {
    "source": "google_shopping_search",
    "query": "nvidia rtx",
    "render": "html",
    "parse": True
}

# 获取响应。
response = requests.request(
    "POST",
    "https://realtime.oxylabs.io/v1/queries",
    auth=("USERNAME", "PASSWORD"),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_shopping_search",
    query: "nvidia rtx",
    render: "html",
    parse: true
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

https://realtime.oxylabs.io/v1/queries?source=google_shopping_search&query=nvidia+rtx&render=html&parse=true&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_shopping_search',
    'query' => 'nvidia rtx',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_shopping_search",
		"query":  "nvidia rtx",
		"render": "html",
		"parse":  true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_shopping_search",
                query = "nvidia rtx",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_shopping_search");
        jsonObject.put("query", "nvidia rtx");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) => {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_shopping_search",
    "query": "nvidia rtx",
    "render": "html",
    "parse": true
}

注意： 只有已渲染并解析的任务才会返回产品令牌。

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

参数	描述	默认值
source	设置抓取器。	google_shopping_search
查询	要搜索的关键词或短语。	-
render	启用 JavaScript 渲染。必须设置为 html 以获取产品 令牌. 更多信息.	-
解析	设置为以下值时返回解析后的数据： true。查看输出 数据字典.	false
callback_url	回调端点的 URL。 更多信息	-
user_agent_type	设备类型和浏览器。完整列表可在 此处.	desktop

- 必填参数

本地化

参数	描述	默认值
geo_location	结果应适配的地理位置。正确使用此参数对于获取正确数据极其重要。有关更多信息，请阅读我们建议的 geo_location 参数结构 此处.	-
locale	Accept-Language 标头值，它会更改您的 Google 搜索页面网页界面语言。 更多信息.	-

注意： 本地化参数（gl 和 hl）现在已嵌入到产品令牌中。要检索 google_shopping_products 与原始搜索结果匹配的数据，除非确实需要覆盖，否则建议将这些字段留空。

分页

用于管理搜索结果分页和检索的控件。

参数	描述	默认值
start_page	起始页码。	1
pages	要检索的页数。	1

Context 参数

用于定制搜索上下文或满足特殊需求的高级选项。上下文参数应像下面这样添加到 context 数组中：

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

参数	描述	默认值
context: sort_by	按指定条件对产品列表排序。 r 应用 Google 默认排序， rv - 按评分排序， p - 按价格升序， pd - 按价格降序。	r
context: min_price	用于筛选的产品最低价格。	-
context: max_price	用于筛选的产品最高价格。	-
context: nfpr	true 将关闭拼写自动纠正。	-

结构化数据

下面可以找到一个 结构化输出示例 为 google_shopping_search.

google_shopping_search-output.json

998KB

打开

输出数据字典

HTML 示例

JSON 结构

下表详细列出了我们解析的每个搜索页面元素及其描述和数据类型。表中还包含一些元数据。

键	描述	类型
url	该查询对应的 Google Shopping 搜索页面 URL。	字符串
page	搜索结果的当前页码。	整数
results	包含详细搜索结果的对象。	对象
pla （可选）	包含各自详情的商品列表广告清单。	数组
筛选器 （可选）	各种筛选器的列表。	数组
organic	包含各自详情的未付费列表。	数组
搜索信息	所提交搜索查询的详情清单。	对象
search_information.query	原始搜索词。	字符串
search_information.showing_results_for	搜索结果所显示的搜索词。如果 Google 自动更正了提供的搜索词，`query` 和 `showing_results_for` 可能不同。	字符串
last_visible_page	用于标识搜索查询结果页中可见最大页码的值。（当通过滚动触发加载更多结果时为 -1。）	整数
parse_status_code	解析任务的状态码。你可以查看所描述的解析器状态码 此处.	整数
创建时间	抓取任务创建时的时间戳。	时间戳
更新时间	抓取任务完成时的时间戳。	时间戳
状态码	抓取任务的状态码。你可以查看所描述的抓取器状态码 此处.	整数
任务ID	与该抓取任务关联的任务 ID。	字符串

在以下部分中，当某个结果类型有多个项目可用时，已将解析后的 JSON 代码片段缩短。

付费商品列表广告

包含该产品的商品列表广告（PLA）的对象数组。（示例）

...
  "pla": [
    {
        "items": [
            {
                "pos": 1,
                "url": "/aclk?sa=l&ai=DChcSEwiY8fLUi9OGAxVtj1AGHYnVBj0YABABGgJkZw&gclid=EAIaIQobChMImPHy1IvThgMVbY9QBh2J1QY9EAQYASABEgKpS_D_BwE&sig=AOD64_2DguiyFTR4GRY6Ww9o__l9HgJC_A&ctype=5&q=&ved=0ahUKEwj-6ezUi9OGAxWiWUEAHdbxAgsQww8I2xA&adurl=",
                "price": "$2,199.00",
                "title": "Polycade Sente: Black",
                "seller": "Polycade",
                "thumbnail": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcS59ZNOrZH96cy_cOgzxL52VoJYq9iPl7q8g26f9odcuG8pY8ZRxe9YMhkZDPnFAZDyP04lu29gy57ObwsKpWHb_pzQBja34tkErnSAz3nw&usqp=CAE"
            },
            {
                "pos": 2,
                "url": "/aclk?sa=l&ai=DChcSEwiY8fLUi9OGAxVtj1AGHYnVBj0YABADGgJkZw&gclid=EAIaIQobChMImPHy1IvThgMVbY9QBh2J1QY9EAQYAiABEgJwHvD_BwE&sig=AOD64_0LFB8jrHwNdEkmOdjcjGOdhQ9ZVg&ctype=5&q=&ved=0ahUKEwj-6ezUi9OGAxWiWUEAHdbxAgsQww8I3hA&adurl=",
                "price": "$2,199.00",
                "title": "Polycade Sente: White",
                "seller": "Polycade",
                "thumbnail": "https://encrypted-tbn2.gstatic.com/shopping?q=tbn:ANd9GcQ2onFg_aXbg8LTX3qJT9f9XdiFrl_SNLXlpKhSjCQQ2c5EmQcrNXPwCMphjugJUhWctBpRVC0BiS4OUnq0FRAeQ4BXEWI6FuvZvGERsLc&usqp=CAE"
            },
                                ...
        ],
        "pos_overall": 1
    }
],
...

键（pla）	描述	类型
items	页面中可用的所有 PLA。	数组
pos	用于表示某个项目在 PLA 结果中的位置的标识。	整数
url	商品的 URL。	字符串
price	商品列表广告中的商品价格。	字符串
title	商品列表广告中的产品标题。	字符串
rating	产品评分。	整数
seller	商品列表广告中的商品卖家。	字符串
thumbnail	产品缩略图图片的 URL。	字符串
reviews_count	该产品的评论数量。	可选
pos_overall	指示该结果在 SERP 中的位置。	整数

筛选条件

...
"filters": [
    {
        "name": "Show only",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,sales:1&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQ7KEGCJ4WKAA",
                "value": "On sale"
            }
        ]
    },
    {
        "name": "Price",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,price:1,ppr_max:40&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQvSsIohYoAA",
                "value": "Up to $40"
            },
                                ...
                                {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,price:1,ppr_min:90&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQvSsIpRYoAw",
                "value": "Over $90"
            }
        ]
    },
    {
        "name": "Color",
        "values": [
            {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,color:specific,color_val:black&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQtSsIrBYoAA",
                "value": "Black"
            },
                                ...
                                {
                "url": "/search?sca_esv=bbd3241cb3940ce2&sca_upv=1&gl=us&hl=en&tbm=shop&q=adidas&tbs=mr:1,color:specific,color_val:pink&sa=X&ved=0ahUKEwikoMX_iNOGAxVvFbkGHV6uDZcQtSsIshYoBg",
                "value": "Pink"
            }
        ]
    },
                        ...
]

键（filters）	描述	类型
姓名	筛选类别的名称	字符串
值	该类别中可用的筛选选项。	数组
values.url	表示该筛选选项过滤后搜索查询的 URL。	字符串
values.value	该筛选选项的显示名称	字符串
values.merchant_id （可选）	与该筛选选项关联的商家 ID。	字符串

自然搜索

包含自然搜索结果详情的对象数组。

...
"organic": [
    {
        "pos": 1,
        "url": "https://www.google.com/shopping/product/16307418470740744792?q=nvidia+rtx&hl=en&udm=28&sei=j5fsaPC2FYWQur8P293m8A8&gl=us",
        "type": "grid",
        "price": 3090,
        "title": "NVIDIA GeForce RTX 5090 32GB GDDR7 Graphics Card",
        "token": "eyJjYXRhbG9naWQiOiAiMTYzMDc0MTg0NzA3NDA3NDQ3OTIiLCAiZ3BjaWQiOiAiMjM4NTIwNzk2NTI4MjUxMzUzOSIsICJpbWFnZURvY2lkIjogIjkyMjY0MjkwODMxMzQ4NDkwNDUiLCAibWlkIjogIiIsICJwdm8iOiAiMjMiLCAicHZ0IjogImhnIiwgInJkcyI6ICJQQ18yMzg1MjA3OTY1MjgyNTEzNTM5fFBST0RfUENfMjM4NTIwNzk2NTI4MjUxMzUzOSIsICJwcm9kdWN0aWQiOiAiIiwgInF1ZXJ5IjogIm52aWRpYSBydHgifQ==",
        "rating": 4.6,
        "currency": "USD",
        "delivery": "Free delivery by Fri",
        "merchant": {
            "name": "eBay"
        },
        "price_str": "$3,090.00",
        "thumbnail": "<THUMBNAIL_STR>",
        "product_id": "1503163696221055935",
        "pos_overall": 1,
        "reviews_count": 311
    },
]
...

键（organic）	描述	类型
pos	产品在搜索结果中的位置。	整数
url	商品页面的 URL。	字符串
type	列表布局类型。	字符串
price	指定货币下的商品价格。	浮点数
title	商品列表的标题。	字符串
令牌	产品令牌。	字符串
rating （可选）	该产品的平均用户评分，通常满分为 5。	整数
货币	商品价格的货币代码。	字符串
delivery	配送详情，包括预计送达日期和退货政策。	字符串
商家 （可选）	包含销售该产品的商家详情的对象。	对象
merchant.name	商家的名称。	字符串
price_str	包含货币符号的产品价格字符串。	字符串
thumbnail	产品缩略图图片的 URL。	字符串
product_id	产品的唯一标识符。	字符串
pos_overall	产品在搜索结果中的总体位置。	整数
reviews_count （可选）	商品评论总数。	整数