URL

Extrae cualquier URL de Walmart que elijas.

El walmart la fuente está diseñada para recuperar el contenido de URL directas de varias páginas de Walmart. En lugar de enviar múltiples parámetros, puedes proporcionarnos una URL directa de la página de Walmart requerida. No eliminamos ningún parámetro ni alteramos tus URLs de ninguna otra forma.

El análisis está limitado a páginas de búsqueda y páginas de producto.

Para otros tipos de páginas, podemos devolver el contenido HTML. Puedes fácilmente construir tu propio parser si deseas obtener datos estructurados en JSON.

Ejemplos de solicitudes

Los ejemplos siguientes ilustran cómo puedes obtener páginas de Walmart.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "walmart",
        "url": "https://www.walmart.com/cp/new-arrivals/2593086"
    }'

import requests
from pprint import pprint


# Estructurar la carga útil.
payload = {
    'source': 'walmart',
    'url': 'https://www.walmart.com/cp/new-arrivals/2593086'
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá el
# JSON de respuesta con el resultado.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "walmart",
    url: "https://www.walmart.com/cp/new-arrivals/2593086"
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

# Toda la cadena que envíe debe estar codificada en URL.

https://realtime.oxylabs.io/v1/queries?source=walmart&url=https%3A%2F%2Fwww.walmart.com%2Fcp%2Fnew-arrivals%2F2593086&access_token=12345abcde

<?php

$params = array(
    'source' => 'walmart',
    'url' => 'https://www.walmart.com/cp/new-arrivals/2593086'
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "walmart",
		"url": "https://www.walmart.com/cp/new-arrivals/2593086",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "walmart",
                url = "https://www.walmart.com/cp/new-arrivals/2593086"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "walmart");
        jsonObject.put("url", "https://www.walmart.com/cp/new-arrivals/2593086");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o la integración asíncrona Push-Pull consulte los métodos de integración sección.

Valores de parámetros de solicitud

Genérico

Parámetro

Descripción

Valor Predeterminado

source

Establece el scraper.

walmart

url

URL directa (enlace) a cualquier página.

render

Habilita la renderización de JavaScript cuando se establece en html. Más información.

parse

Devuelve datos analizados cuando se establece en true. Limitado a búsqueda y páginas de producto.

callback_url

URL de su endpoint de callback. Más información.

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.

desktop

- parámetro obligatorio

AnteriorProducto SiguienteTikTok

Última actualización hace 6 días

¿Te fue útil?

Buenas noches

hashtagEjemplos de solicitudes

hashtagValores de parámetros de solicitud

hashtagGenérico

Ejemplos de solicitudes

Valores de parámetros de solicitud

Genérico