产品

了解如何使用 Web Scraper API 获取 Walmart 产品页面数据。了解其请求参数和结构化数据输出。

该 walmart_product 该 source 用于检索 Walmart 产品结果页面。我们可以返回任何 Walmart 页面的 HTML。此外，我们还可以提供 Walmart 产品页面的结构化（已解析）输出.

请求示例

下面的示例说明如何获取解析后的 Walmart 产品页面结果。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "walmart_product", 
        "product_id": "15296401808",
        "parse": true
    }'

import requests
from pprint import pprint


# 构建负载。
payload = {
    'source': 'walmart_product',
    'product_id': '15296401808',
    'parse': True,
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 该请求不会返回带有作业状态和结果 URL 的响应，而是返回
# 包含结果的 JSON 响应。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "walmart_product",
    product_id: "15296401808",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'walmart_product',
    'product_id' => '15296401808',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "walmart_product",
		"product_id":   "15296401808",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "walmart_product",
                product_id = "15296401808",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "walmart_product");
        jsonObject.put("product_id", "15296401808");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

请求参数值

通用

参数

说明

默认值

source

设置要使用的爬虫。

walmart_product

product_id

Walmart 产品 ID。

render

设置为时启用 JavaScript 渲染 html. 更多信息.

parse

设置为时返回解析数据 true.

false

callback_url

您的回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。完整列表可在此处.

desktop

- 强制参数

本地化

将结果适配到特定门店、送货地点。Walmart 门店 ID 的 JSON 列表在此处：

7MB

walmart_nodes.json

打开

您也可以找到 Walmart 门店的官方页面此处.

参数

说明

类型

domain

Walmart 的域名本地化。

字符串

delivery_zip

设置收货邮编。

字符串

store_id

设置门店位置。

字符串

如果目标门店距给定邮政编码过远——我们将尝试使用目标门店的邮政编码，否则位置将无法正确设置。如果我们无法设置 delivery_zip - Walmart 将返回其默认结果，不进行门店定向。

结构化数据

在下列部分，当结果类型存在多个项时，解析后的 JSON 代码片段会被缩短。

Walmart 产品页面结构化输出

{
    "results": [
        {
            "content": {
                "price": {
                    "price": 157.97,
                    "currency": "USD",
                    "price_strikethrough": 199.99
                },
                "rating": {
                    "count": 94,
                    "rating": 4.5
                },
                "seller": {
                    "id": "ED6F630F4BA94318A00A1D0BAACD0A48",
                    "url": "/seller/7648?itemId=701606028&pageName=item&returnUrl=%2Fip%2FApple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional%2F701606028",
                    "name": "Kiss Electronics Inc",
                    "catalog_id": "7648",
                    "official_name": "Kiss Electronics Inc"
                },
                "general": {
                    "url": "https://www.walmart.com/ip/Apple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional/701606028",
                    "meta": {
                        "sku": "701606028",
                        "gtin": "683346585136"
                    },
                    "badge": "Best seller",
                    "brand": "Apple",
                    "title": "Pre-Owned Apple iPhone XS - Carrier Unlocked - 64GB Gold",
                    "images": [
                        "https://i5.walmartimages.com/seo/Apple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional_d6dacc88-10c1-46e0-b528-c626915adadc.4c6907ee5896ccbc68382cb59470a6d8.jpeg?odnHeight=117&odnWidth=117&odnBg=FFFFFF"
                    ],
                    "main_image": "https://i5.walmartimages.com/seo/Apple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional_d6dacc88-10c1-46e0-b528-c626915adadc.4c6907ee5896ccbc68382cb59470a6d8.jpeg?odnHeight=640&odnWidth=640&odnBg=FFFFFF",
                    "description": "<p>超级视网膜。更大与更大。全屏设计为你喜欢做的一切提供了更大、更美的画布。定制 OLED。iPhone Xs 中的 OLED 面板支持 HDR 显示，具有业内最佳的色彩准确性、真实的黑色以及显著的亮度和对比度。它们是任何 Apple 设备上像素密度最高、最清晰的显示器。新的防水等级。智能手机中最耐用的玻璃，配合外科级不锈钢边框密封和精密配合，帮助创建更具防水性的机身——可达 2 米，30 分钟内防水。iPhone Xs 甚至能抵抗咖啡、茶、苏打等溢出。全新智能水平。搭载下一代神经引擎的 A12 仿生芯片带来惊人的性能。它使用实时机器学习来改变你体验照片、游戏、增强现实等的方式。传感器、处理器、算法以及你。创新的双摄系统集成了 ISP、神经引擎和先进算法，释放新的创造可能，帮助你拍摄令人惊叹的照片。一张照片价值万亿次运算。iPhone Xs 双摄系统利用神经引擎前所未有的运算能力（每秒可执行五万亿次运算）。与 Apple 设计的 ISP 配合，它像世界上最快的摄影师助理，帮助将你的照片变为焦点。安全变得简单。Face ID 重新定义了解锁、登录和支付方式。我们的一些最复杂技术——TrueDepth 相机系统、Secure Enclave（安全隔区）和神经引擎——使其成为智能手机上最安全的面部验证技术。同时更快速、更易用。</p><ul>   <li>手机已测试，工作并功能正常。可能有磨损、划痕、裂缝或其他不影响手机功能的小问题。</li>   <li>5.8 英寸 Super AMOLED 电容触摸屏，1125 x 2436 像素</li>   <li>iOS，Apple A12 仿生，六核，Apple GPU（4 核图形）</li>   <li>双 12MP（f/1.8，28mm，带 OIS）和 12MP（f/2.4，52mm，2 倍光学变焦）摄像头，带四 LED 双色温闪光灯；前置 7MP，f/2.2，32mm</li>   <li>内存：64GB，4GB RAM</li>   <li>IP68 防尘/防水（最高 2m，30 分钟），抗刮玻璃，疏油涂层</li>   <li>尺寸：5.65 x 2.79 x 0.30 英寸，重量：6.24 盎司</li>  </ul>"
                },
                "location": {
                    "city": "Sacramento",
                    "state": "CA",
                    "store_id": "3081",
                    "zip_code": "95829"
                },
                 "variations": [
                    {
                        "state": "IN_STOCK",
                        "product_id": "7328JAQF0Y2S",
                        "selected_options": [
                            {
                                "key": "Carrier",
                                "value": "Verizon"
                            },
                            {
                                "key": "Capacity",
                                "value": "256GB"
                            },
                            {
                                "key": "Color",
                                "value": "Desert Titanium"
                            }
                        ]
                    },
                "breadcrumbs": [
                    {
                        "url": "/cp/cell-phones/1105910",
                        "category_name": "Cell Phones"
                    },
                    {
                        "url": "/cp/unlocked-phones/1073085",
                        "category_name": "Unlocked Phones"
                    },
                    {
                        "url": "/cp/gsm-unlocked/8230659",
                        "category_name": "GSM Unlocked"
                    }
                ],
                "fulfillment": {
                    "pickup": false,
                    "delivery": false,
                    "shipping": true,
                    "out_of_stock": false,
                    "free_shipping": true,
                    "pickup_information": "Pickup, Not available",
                    "delivery_information": "Delivery, Not available",
                    "shipping_information": "Shipping, Arrives Oct 18, Free"
                },
                "specifications": [
                    {
                        "key": "Processor Brand",
                        "value": "Apple"
                    },
                    {
                        "key": "Display Technology",
                        "value": "Retina Display"
                    },
                    {
                        "key": "Phone Feature",
                        "value": "Wireless Charging"
                    },
                    ...
                ],
                "parse_status_code": 12000
            },
            "created_at": "2024-09-16 08:09:03",
            "updated_at": "2024-09-16 08:09:06",
            "page": 1,
            "url": "https://www.walmart.com//ip/Apple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional/701606028",
            "job_id": "7253339040034008521",
            "is_render_forced": false,
            "status_code": 200,
            "parser_type": "walmart_product_new"
        }
    ]
}

输出数据字典

HTML 示例

JSON 结构

下表列出了我们解析的每个产品页面元素的详细清单，包含其描述和数据类型。表中还包括一些元数据。

键

说明

类型

general

包含通用产品页面结果详情的对象。

对象

价格

对象包含有关产品定价的详细信息。

对象

rating

产品的评分信息。

对象

卖家

有关卖家的信息。

对象

variations （可选）

产品的变体列表。

数组

breadcrumbs

指向产品的类别层级。

对象

location

提供请求运行时所在位置的信息。

对象

fulfillment

对象包含有关产品履约选项的信息。

对象

specifications

详细说明产品特定属性或功能的键值对数组。

数组

parse_status_code

解析作业的状态码。您可以在此处查看解析器状态码说明此处.

整数

created_at

抓取作业创建的时间戳。

timestamp

updated_at

抓取作业完成的时间戳。

timestamp

page

提取产品数据时所在的页码

整数

url

产品页面在 Walmart 网站上的 URL

字符串

job_id

与抓取作业关联的作业 ID。

字符串

status_code

抓取作业的状态码。您可以在此处查看爬虫状态码说明此处.

整数

is_render_forced

标识是否对该请求强制进行了渲染。

布尔

parser_type

用于提取数据的解析器类型（例如，"walmart_product_new"）。

字符串

General

Key (general)

说明

类型

url

产品的 URL。

字符串

main_image

主产品图片的 URL

整数

images

产品图片的 URL 数组。

数组

title

产品的标题或名称。

字符串

description

产品的详细描述。

字符串

brand

产品的品牌。

字符串

badge

指示特定属性（如促销、产品功能、认证或品牌关联）的标识。

字符串列表

meta

产品的元数据。

对象

meta.sku

产品的库存单位（SKU）。

字符串

meta.gtin

产品的全球贸易项目编号（GTIN）。

字符串

Price

...
"price": {
    "price": 12.49,
    "price_strikethrough": 23.72,
    "currency": "USD"
},
...

Key (price)

说明

类型

价格

产品当前价格（未做任何扣减）。

float

price_strikethrough

划线价可能为原价、组合价或标价。

float

货币

产品价格的 ISO 4217 三字母货币代码。

字符串

Rating

...
 "rating": {
    "count": 64,
    "rating": 4.7
},
...

Key (rating)

说明

类型

rating

产品的平均评分。

float

count

产品评分的数量。

整数

Seller

...
"seller": {
    "id": "ED6F630F4BA94318A00A1D0BAACD0A48",
    "url": "/seller/7648?itemId=701606028&pageName=item&returnUrl=%2Fip%2FApple-iPhone-Xs-64GB-Unlocked-GSM-CDMA-4G-LTE-Phone-w-Dual-12MP-Camera-Gold-Fair-Cosmetics-Fully-Functional%2F701606028",
    "name": "Kiss Electronics Inc",
    "catalog_id": "7648",
    "official_name": "Kiss Electronics Inc"
},
...

Key (seller)

描述

类型

name

卖家的名称。

字符串

official_name

卖方实体的官方注册名称。

字符串

id

平台分配给卖方的唯一标识符。

字符串

url

指向卖家官方网站或店面的 URL。

字符串

catalog_id

目录 ID。

字符串

规格

...
"specifications": [
    ...
    {
        "key": "Brand",
        "value": "LEGO"
    },
    {
        "key": "Age Range",
        "value": "9 Years & Up"
    },
]
...

键（规格）

说明

类型

key

产品的特定属性或特征。

字符串

value

由规格键指定的属性对应的值或描述。

字符串

Fulfillment

...
"fulfillment": {
                    "pickup": false,
                    "delivery": false,
                    "shipping": true,
                    "out_of_stock": false,
                    "free_shipping": true,
                    "pickup_information": "Pickup, Not available",
                    "delivery_information": "Delivery, Not available",
                    "shipping_information": "Shipping, Arrives Oct 24, Free"
                },
...

Key (fulfillment)

说明

类型

pickup

指示商品是否可通过门店自提完成履约。

布尔

pickup_information

当 pickup = true 时的取货消息。

字符串

delivery

指示产品是否可以由本地门店通过配送方式履约。

布尔

delivery_information

当 delivery = true 时的本地门店配送消息。

字符串

运输

指示商品是否可通过送货到家完成履约。

布尔

shipping_information

显示时的运输消息。

字符串

free_shipping

指示运输是否免运费。

布尔

out_of_stock

指示产品当前是否缺货。

布尔

Variations

...
"variations": [
    {
        "state": "IN_STOCK",
        "product_id": "7328JAQF0Y2S",
        "selected_options": [
            {
                "key": "Color",
                "value": "Black"
            },
]
...

键（变体）

说明

类型

state（州）

产品变体的可用性状态。

字符串

product_id

每个产品变体的唯一标识符。

字符串

selected_options

包含定义变体的所选选项的数组。

数组

selected_options.key

描述所选选项的键。

字符串

selected_options.value

所选选项的值。

字符串

Breadcrumbs

... 
"breadcrumbs": [
    {
        "url": "/cp/cell-phones/1105910",
        "category_name": "Cell Phones"
    },
    {
        "url": "/cp/phones-with-plans/1073085",
        "category_name": "Phones With Plans"
    },
    {
        "url": "/cp/postpaid-phones/8230659",
        "category_name": "Postpaid Phones"
    }
    ...
],
...

键（面包屑）

说明

类型

category_name

类别的名称。

字符串

url

类别的 URL

字符串

Location

...
"location": {
    "city": "Sacramento",
    "state": "CA",
    "store_id": "8915",
    "zip_code": "95829"
},
...

Key (location)

说明

类型

city

请求运行时所在的城市。

字符串

state（州）

请求运行时所在的州/省缩写。

字符串

zip_code

请求运行时使用的邮政编码。

字符串

store_id

请求运行时使用的门店 ID。

字符串

最后更新于4个月前

这有帮助吗？

下午好

请求示例

请求参数值

通用

本地化

结构化数据

输出数据字典

HTML 示例

General

Price

Rating

Seller

规格

Fulfillment

Variations

Breadcrumbs

Location