搜索

提取 Walmart 搜索结果的解析数据，包括价格、评分、卖家信息、变体、履约选项和筛选项，并支持价格范围和排序过滤。

该 walmart_search 该源专为抓取 Walmart 搜索结果页而设计。我们可以返回你需要的任意 Walmart 页面 HTML。此外，我们还可以提供 Walmart 搜索页的结构化（已解析）输出.

请求示例

下面的示例说明如何获取已解析的 Walmart 搜索页结果。

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "walmart_search", 
        "query": "iphone", 
        "parse": true
    }'

Python

import requests
from pprint import pprint


# 结构化载荷。
payload = {
    'source': 'walmart_search',
    'query': 'iphone',
    'parse': True,
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 不会返回包含作业状态和结果 url 的响应，而是返回
# 包含结果的 JSON 响应。
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "walmart_search",
    query: "iphone",
    解析：true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

# The whole string you submit has to be URL-encoded.

https://realtime.oxylabs.io/v1/queries?source=walmart_search&query=iphone&parse=true&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'walmart_search',
    'query' => 'iphone',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "walmart_search",
		"query":        "iphone",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "walmart_search",
                query = "iphone",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "walmart_search");
        jsonObject.put("query", "iphone");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) => {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "walmart_search", 
    "query": "iphone", 
    "parse": true
}

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

参数	描述	默认值
source	设置抓取器。	walmart_search
查询	用于搜索产品的关键词或短语。	-
min_price	设置最低价格。	-
max_price	设置最高价格。	-
sort_by	选择商品排序。可用值为： price_low, price_high, best_seller, best_match.	best_match
render	设置为时启用 JavaScript 渲染 html. 更多信息.	-
解析	设置为以下值时返回解析后的数据： true.	false
callback_url	回调端点的 URL。 更多信息	-
user_agent_type	设备类型和浏览器。完整列表可在 此处.	desktop

- 必填参数

本地化

按特定门店、配送地点等调整结果。Walmart 门店 ID 列表请见：

www_walmart_com_stores.csv

294KB

打开

你还可以在这里找到 Walmart 商店的官方页面 此处.

参数	描述	类型
domain	Walmart 的域名本地化。可用值： com, com.mx, ca, co.cr。默认： com.	字符串
fulfillment_speed	设置履约速度。可用值为： today, 2_days, anytime, tomorrow.	字符串
fulfillment_type	设置履约类型。支持的值： pickup, delivery, 配送。	字符串
delivery_zip	设置配送目的地。	字符串
store_id	设置商店位置。	字符串

履约类型参数的可用性因 Walmart 域名而异：

域名	支持的履约类型
walmart.com	pickup, delivery, shipping
walmart.com.mx	pickup, delivery
walmart.ca	pickup, delivery
walmart.co.cr	pickup

国际 store_id 列表，请参见下面的文件：

www_walmart_com_mx_stores.csv

38KB

打开

www_walmart_ca_stores.csv

24KB

打开

walmart_co_cr_stores.json

126B

打开

如果目标商店离给定邮政编码太远，我们将尝试使用目标商店的邮政编码；否则位置将无法正确设置。如果我们无法设置 delivery_zip - Walmart 将返回默认结果，不进行门店定位。

分页

参数	描述	默认值
start_page	起始页码。	1

结构化数据

在以下部分中，当某个结果类型有多个项目可用时，已将解析后的 JSON 代码片段缩短。

Walmart 搜索页结构化输出

{
    "results": [
        {
            "content": {
                "url": "https://www.walmart.com/search?q=adidas",
                "facets": [
                    {
                        "type": "sort",
                        "values": [
                            {
                                "name": "Best Match"
                            },
                            {
                                "name": "Price Low"
                            },
                            {
                                "name": "Price High"
                            },
                            {
                                "name": "Best Seller"
                            }
                        ],
                        "display_name": "Sort by"
                    },
                    ...
                ],
                "results": [
                    {
                        "price": {
                            "price": 31.95,
                            "currency": "USD"
                        },
                        "rating": {
                            "count": 0,
                            "rating": 0
                        },
                        "seller": {
                            "id": "5027DF43EB634E91AEADF0D69DD4E009",
                            "name": "Revel Commerce"
                        },
                        "general": {
                            "pos": 13,
                            "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=VARIANT",
                            "image": "https://i5.walmartimages.com/seo/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt_1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF",
                            "title": "Adidas Men's California 2.0 Crew Neck Short Sleeve Tee T-Shirt",
                            "sponsored": false,
                            "product_id": "833623567",
                            "out_of_stock": false,
                            "section_title": "Results for \"adidas\""
                        },
                        "variants": [
                            {
                                "url": "/ip/Adidas-Men-California-2-0-Tee-S-Black/524412260?classType=undefined&variantFieldId=actual_color",
                                "image": "https://i5.walmartimages.com/asr/f60cd6ff-41fd-484d-b76e-57f6022c2201.eedd632efbb4ce3803e9ef8306190aa3.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
                                "title": "Black/White",
                                "product_id": "524412260"
                            },
                            {
                                "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=undefined&variantFieldId=actual_color",
                                "image": "https://i5.walmartimages.com/asr/1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
                                "title": "White",
                                "product_id": "833623567"
                            }
                        ],
                        "fulfillment": {
                            "pickup": false,
                            "delivery": false,
                            "shipping": true,
                            "free_shipping": true
                        }
                    },
                    ...
                ],
                "location": {
                    "city": "Sacramento",
                    "state": "CA",
                    "zipcode": "95829",
                    "store_id": "3081"
                },
                "page_details": {
                    "page": 1,
                    "total_results": 11524,
                    "last_visible_page": 25
                },
                "parse_status_code": 12000
            },
            "created_at": "2024-10-16 09:57:40",
            "updated_at": "2024-10-16 09:57:46",
            "page": 1,
            "url": "https://www.walmart.com/search?q=adidas",
            "job_id": "7252256376867528705",
            "is_render_forced": false,
            "status_code": 200,
            "parser_type": "walmart_search_new"
        }
    ]
}

输出数据字典

HTML 示例

JSON 结构

下表详细列出了我们解析的每个搜索页面元素及其描述和数据类型。表中还包含一些元数据。

键	描述	类型
url	搜索页 URL。	字符串
facets	一个数组，包含搜索结果页上显示的所有可用搜索 facet（细化项）的详情。	数组
results	搜索页结果。	数组
results.general	包含通用商品详情的对象。	对象
results.price	包含商品价格详情的对象。	对象
results.rating	对象包含商品评分详情。	对象
results.seller	对象包含卖家信息。	对象
results.variants （可选）	数组包含商品变体列表。	数组
results.fulfillment	对象包含商品履约选项详情。	对象
location	提供请求运行时所在位置的信息。	对象
page_details	对象包含搜索查询结果页的数据。	对象
parse_status_code	解析任务的状态码。你可以查看所描述的解析器状态码 此处.	整数
创建时间	抓取任务创建时的时间戳。	时间戳
更新时间	抓取任务完成时的时间戳。	时间戳
page	提取数据的页码	整数
url	搜索页 URL。	字符串
任务ID	与该抓取任务关联的任务 ID。	字符串
状态码	抓取任务的状态码。你可以查看所描述的抓取器状态码 此处.	整数
is_render_forced	指示此请求是否强制渲染。	布尔值
parser_type	用于提取数据的解析器类型（例如，"walmart_search_new"）。	字符串

常规

...
"general": {
    "pos": 1,
    "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=VARIANT",
    "image": "https://i5.walmartimages.com/seo/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt_1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF",
    "title": "Adidas Men's California 2.0 Crew Neck Short Sleeve Tee T-Shirt",
    "sponsored": true,
    "product_id": "833623567",
    "out_of_stock": false,
    "section_title": "Results for \"adidas\""
},
...

键（通用）	描述	类型
pos	表示给定商品在其所属区块中的位置的指标。	整数
url	商品的 URL。	字符串
image	主商品图片的 URL。	字符串
title	商品的标题或名称。	字符串
product_id	商品 ID。	字符串
sponsored	标识商品是否为赞助商品。	布尔值
徽章 （可选）	特价、热门推荐、畅销、昨天以来已购买 100+	字符串列表
section_title	搜索页中商品所属区块的名称。	字符串
out_of_stock	表示商品是否缺货。	布尔值

价格

...
"price": {
    "price": 1149.99,
    "currency": "USD",
    "price_min": 1149.99
    "price_max": 1399.00
},
...

键（价格）	描述	类型
price（可选）	商品当前价格，不含任何折扣。	浮点数
price_strikethrough（可选）	删除线价格可以是原价、组合价或目录价。	浮点数
货币	货币的 ISO 4217 三字母代码。	字符串
price_min（可选）	在区间定价情况下，商品的最低价格。	浮点数
price_max（可选）	在区间定价情况下，商品的最高价格。	浮点数

评分

...
"rating": {
    "count": 428,
    "rating": 4.6
},
...

键（评分）	描述	类型
rating	商品的平均评分。	浮点数
数量	商品的评分数量。	整数

卖家

未以可视方式显示的数据。

键（卖家）	描述	类型
姓名	卖家名称。	字符串
id	卖家 ID。	字符串

变体

...
"variants": [
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Gold-M1-Chip-8GB-RAM-256GB-storage/550880792?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/a9857413-b9fa-4c8d-9f81-7ea4c93889a1.410fd3cb7fe36102bbe2d3dca32a8075.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Gold",
        "product_id": "550880792"
    },
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Silver-M1-Chip-8GB-RAM-256GB-storage/715596133?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/056c08d5-2d68-44f2-beb0-dd8a47e2f8e8.2a2a210657937c3c11b37df5be8fa4ad.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Silver",
        "product_id": "715596133"
    },
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Space-Gray-M1-Chip-8GB-RAM-256GB-storage/609040889?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/af1d4133-6de9-4bdc-b1c6-1ca8bd0af7a0.c0eb74c31b2cb05df4ed11124d0e255b.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Space Gray",
        "product_id": "609040889"
    }
],
...

键（变体）	描述	类型
url	商品变体的 URL。	字符串
title	商品变体的标题。	字符串
product_id	商品变体的 ID。	字符串
image	商品变体图片。	字符串

履约

 ...
"fulfillment": {
    "pickup": true,
    "delivery": true,
    "shipping": true,
    "free_shipping": false
}
...

键（履约）	描述	类型
pickup	指示商品是否可通过门店自提履约。	布尔值
delivery	表示商品是否可通过门店配送履约。 如果可用，配送将来自你所在的本地门店。	布尔值
shipping	指示商品是否可通过送货上门履约。	布尔值
free_shipping	指示是否免运费。	布尔值

Facets

... 
"facets": [
    {
        "type": "sort",
        "values": [
            {
                "name": "Best Match"
            },
            {
                "name": "Price Low"
            },
            {
                "name": "Price High"
            },
            {
                "name": "Best Seller"
            }
        ],
        "display_name": "Sort by"
    },
...

键（facets）	描述	类型
display_name	facet 的显示名称（即面向用户的名称）。	字符串
type	facet 类型。	字符串
值	facet 值数组显示给定 facet 的值。	数组
values.name	facet 值名称。	字符串
values.item_count （可选）	特定 facet 可用的项目数量。	整数

位置

...
"location": {
    "city": "Sacramento",
    "state": "CA",
    "store_id": "8915",
    "zip_code": "95829"
},
...

键（位置）	描述	类型
城市	请求运行所在的城市。	字符串
状态	请求运行所在的州。	字符串
邮政编码	请求运行所在的邮政编码。	字符串
store_id	请求运行所在商店的 ID。	字符串

页面详情

 ...
"page_details": {
    "page": 1,
    "total_results": 11524,
    "last_visible_page": 25
},
...

键（page_details）	描述	键
total_results	显示为可用的搜索结果总数。	整数
last_visible_page	搜索结果的最后一页页码。	整数
page	提取商品数据的页码	整数