搜索

了解如何使用 Web Scraper API 获取 Walmart 搜索结果。了解其请求参数和结构化数据输出。

该 walmart_search source 旨在检索 Walmart 搜索结果页面。我们可以返回任何 Walmart 页面所对应的 HTML。此外，我们还可以提供 针对 Walmart 搜索页面的结构化（已解析）输出.

请求示例

下面的示例说明如何获取解析后的 Walmart 搜索页面结果。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "walmart_search", 
        "query": "iphone", 
        "parse": true
    }'

import requests
from pprint import pprint


# 构建负载。
payload = {
    'source': 'walmart_search',
    'query': 'iphone',
    'parse': True,
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 该请求不会返回带有作业状态和结果 URL 的响应，而是返回
# 包含结果的 JSON 响应。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "walmart_search",
    query: "iphone",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'walmart_search',
    'query' => 'iphone',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "walmart_search",
		"query":        "iphone",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "walmart_search",
                query = "iphone",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "walmart_search");
        jsonObject.put("query", "iphone");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

参数

说明

默认值

source

设置要使用的爬虫。

walmart_search

query

要搜索的关键字或短语，用于查找产品。

min_price

设置最低价格。

max_price

设置最高价格。

排序方式

选择产品排序。可用值为： price_low, price_high, best_seller, best_match.

best_match

render

设置为时启用 JavaScript 渲染 html. 更多信息.

parse

设置为时返回解析数据 true.

false

callback_url

您的回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。完整列表可在此处.

desktop

- 强制参数

本地化

将结果适配到特定门店、配送地点等。Walmart 商店 ID 的 JSON 列表请在此处查找：

7MB

walmart_nodes.json

打开

您也可以找到 Walmart 门店的官方页面此处.

参数

说明

类型

domain

Walmart 的域名本地化。

字符串

fulfillment_speed

设置履约速度。可用值为： 今天, 2_days, anytime, tomorrow.

字符串

fulfillment_type

设置履约类型。可用值为： in_store.

字符串

delivery_zip

设置收货邮编。

字符串

store_id

设置门店位置。

字符串

如果目标门店距给定邮政编码过远——我们将尝试使用目标门店的邮政编码，否则位置将无法正确设置。如果我们无法设置 delivery_zip - Walmart 将返回其默认结果，不进行门店定向。

分页

参数

说明

默认值

start_page

起始页码。

1

结构化数据

在下列部分，当结果类型存在多个项时，解析后的 JSON 代码片段会被缩短。

Walmart 搜索页面结构化输出

{
    "results": [
        {
            "content": {
                "url": "https://www.walmart.com/search?q=adidas",
                "facets": [
                    {
                        "type": "sort",
                        "values": [
                            {
                                "name": "Best Match"
                            },
                            {
                                "name": "Price Low"
                            },
                            {
                                "name": "Price High"
                            },
                            {
                                "name": "Best Seller"
                            }
                        ],
                        "display_name": "Sort by"
                    },
                    ...
                ],
                "results": [
                    {
                        "price": {
                            "price": 31.95,
                            "currency": "USD"
                        },
                        "rating": {
                            "count": 0,
                            "rating": 0
                        },
                        "seller": {
                            "id": "5027DF43EB634E91AEADF0D69DD4E009",
                            "name": "Revel Commerce"
                        },
                        "general": {
                            "pos": 13,
                            "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=VARIANT",
                            "image": "https://i5.walmartimages.com/seo/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt_1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF",
                            "title": "Adidas Men's California 2.0 Crew Neck Short Sleeve Tee T-Shirt",
                            "sponsored": false,
                            "product_id": "833623567",
                            "out_of_stock": false,
                            "section_title": "Results for \"adidas\""
                        },
                        "variants": [
                            {
                                "url": "/ip/Adidas-Men-California-2-0-Tee-S-Black/524412260?classType=undefined&variantFieldId=actual_color",
                                "image": "https://i5.walmartimages.com/asr/f60cd6ff-41fd-484d-b76e-57f6022c2201.eedd632efbb4ce3803e9ef8306190aa3.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
                                "title": "Black/White",
                                "product_id": "524412260"
                            },
                            {
                                "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=undefined&variantFieldId=actual_color",
                                "image": "https://i5.walmartimages.com/asr/1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
                                "title": "White",
                                "product_id": "833623567"
                            }
                        ],
                        "fulfillment": {
                            "pickup": false,
                            "delivery": false,
                            "shipping": true,
                            "free_shipping": true
                        }
                    },
                    ...
                ],
                "location": {
                    "city": "Sacramento",
                    "state": "CA",
                    "zipcode": "95829",
                    "store_id": "3081"
                },
                "page_details": {
                    "page": 1,
                    "total_results": 11524,
                    "last_visible_page": 25
                },
                "parse_status_code": 12000
            },
            "created_at": "2024-10-16 09:57:40",
            "updated_at": "2024-10-16 09:57:46",
            "page": 1,
            "url": "https://www.walmart.com/search?q=adidas",
            "job_id": "7252256376867528705",
            "is_render_forced": false,
            "status_code": 200,
            "parser_type": "walmart_search_new"
        }
    ]
}

输出数据字典

HTML 示例

JSON 结构

下表列出我们解析的每个搜索页面元素的详细清单，以及其描述和数据类型。表中还包含一些元数据。

键

说明

类型

url

搜索页面的 URL。

字符串

facets

包含搜索结果页面上显示的任何可用搜索分面（筛选）的详情的数组。

数组

results

搜索页面结果。

数组

results.general

包含一般产品详情的对象。

对象

results.price

包含产品价格详情的对象。

对象

results.rating

对象包含有关产品评分的详细信息。

对象

results.seller

对象包含卖家信息。

对象

results.variants （可选）

数组包含产品变体的列表。

数组

results.fulfillment

对象包含有关产品履约选项的详细信息。

对象

location

提供请求运行时所在位置的信息。

对象

page_details

对象包含搜索查询结果页面的数据。

对象

parse_status_code

解析作业的状态码。您可以在此处查看解析器状态码说明此处.

整数

created_at

抓取作业创建的时间戳。

timestamp

updated_at

抓取作业完成的时间戳。

timestamp

page

提取数据时所在的页码

整数

url

搜索页面的 URL。

字符串

job_id

与抓取作业关联的作业 ID。

字符串

status_code

抓取作业的状态码。您可以在此处查看爬虫状态码说明此处.

整数

is_render_forced

标识是否对该请求强制进行了渲染。

布尔

parser_type

用于提取数据的解析器类型（例如，"walmart_search_new"）。

字符串

General

...
"general": {
    "pos": 1,
    "url": "/ip/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt/833623567?classType=VARIANT",
    "image": "https://i5.walmartimages.com/seo/Adidas-Men-s-California-2-0-Crew-Neck-Short-Sleeve-Tee-T-Shirt_1b8e0b00-fdc7-4b88-99fb-9a633bf0227b_1.812a96a559770448397cd828ef1cf68b.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF",
    "title": "Adidas Men's California 2.0 Crew Neck Short Sleeve Tee T-Shirt",
    "sponsored": true,
    "product_id": "833623567",
    "out_of_stock": false,
    "section_title": "Results for \"adidas\""
},
...

Key (general)

说明

类型

pos

指示给定商品在所属区块中所处位置的标识符。

整数

url

产品的 URL。

字符串

image

主产品图片的 URL。

字符串

title

产品的标题或名称。

字符串

product_id

产品的 ID。

字符串

sponsored

标识产品是否为赞助商品。

布尔

badge （可选）

促销、热门选择、畅销品、昨日以来已售 100+ 件

字符串列表

section_title

产品在搜索页面中所属区块的名称。

字符串

out_of_stock

指示商品是否缺货。

布尔

Price

...
"price": {
    "price": 1149.99,
    "currency": "USD",
    "price_min": 1149.99
    "price_max": 1399.00
},
...

Key (price)

说明

类型

价格

产品当前价格（未做任何扣减）。

float

price_strikethrough（可选）

划线价可能为原价、组合价或标价。

float

货币

货币的 ISO 4217 三字代码。

字符串

price_min（可选）

在区间定价情况下的最低价格。

float

price_max（可选）

在区间定价情况下的最高价格。

float

Rating

...
"rating": {
    "count": 428,
    "rating": 4.6
},
...

Key (rating)

说明

类型

rating

产品的平均评分。

float

count

产品评分的数量。

整数

Seller

数据未以可视方式展示。

Key (seller)

说明

类型

name

卖家的名称。

字符串

id

ID of the seller.

字符串

Variants

...
"variants": [
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Gold-M1-Chip-8GB-RAM-256GB-storage/550880792?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/a9857413-b9fa-4c8d-9f81-7ea4c93889a1.410fd3cb7fe36102bbe2d3dca32a8075.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Gold",
        "product_id": "550880792"
    },
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Silver-M1-Chip-8GB-RAM-256GB-storage/715596133?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/056c08d5-2d68-44f2-beb0-dd8a47e2f8e8.2a2a210657937c3c11b37df5be8fa4ad.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Silver",
        "product_id": "715596133"
    },
    {
        "url": "/ip/Apple-MacBook-Air-13-3-inch-Laptop-Space-Gray-M1-Chip-8GB-RAM-256GB-storage/609040889?classType=undefined&variantFieldId=actual_color",
        "image": "https://i5.walmartimages.com/asr/af1d4133-6de9-4bdc-b1c6-1ca8bd0af7a0.c0eb74c31b2cb05df4ed11124d0e255b.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff",
        "title": "Space Gray",
        "product_id": "609040889"
    }
],
...

Key (variants)

说明

类型

url

产品变体的 URL。

字符串

title

产品变体的标题。

字符串

product_id

产品变体的 ID。

字符串

image

产品变体的图片。

字符串

Fulfillment

 ...
"fulfillment": {
    "pickup": true,
    "delivery": true,
    "shipping": true,
    "free_shipping": false
}
...

Key (fulfillment)

说明

类型

pickup

指示商品是否可通过门店自提完成履约。

布尔

delivery

指示商品是否可通过门店配送完成履约。

如有可用，配送将由本地门店发出。

布尔

运输

指示商品是否可通过送货到家完成履约。

布尔

free_shipping

指示运输是否免运费。

布尔

Facets

... 
"facets": [
    {
        "type": "sort",
        "values": [
            {
                "name": "Best Match"
            },
            {
                "name": "Price Low"
            },
            {
                "name": "Price High"
            },
            {
                "name": "Best Seller"
            }
        ],
        "display_name": "Sort by"
    },
...

Key (facets)

说明

类型

display_name

分面的显示名称（即面向用户的名称）。

字符串

type

分面类型。

字符串

values

分面值数组显示给定分面的各个值。

数组

values.name

分面值的名称。

字符串

values.item_count （可选）

特定分面下可用商品的数量。

整数

Location

...
"location": {
    "city": "Sacramento",
    "state": "CA",
    "store_id": "8915",
    "zip_code": "95829"
},
...

Key (location)

说明

类型

city

请求运行时所在的城市。

字符串

state（州）

请求运行时所在的州/省缩写。

字符串

zip_code

请求运行时使用的邮政编码。

字符串

store_id

请求运行时使用的门店 ID。

字符串

Page details

 ...
"page_details": {
    "page": 1,
    "total_results": 11524,
    "last_visible_page": 25
},
...

Key (page_details)

说明

键

total_results

显示为可用的搜索结果总数。

整数

last_visible_page

搜索结果的最后一页页码。

整数

page

提取产品数据时所在的页码

整数

最后更新于6天前

这有帮助吗？

下午好

请求示例

请求参数值

通用

本地化

分页

结构化数据

输出数据字典

HTML 示例

JSON 结构

General

Price

Rating

Seller

Variants

Fulfillment

Facets

Location

Page details