Busca

Raspe páginas de busca do Kroger com filtros de faixa de preço, marca e localização da loja. Recupere resultados de busca organizados via API.

O kroger_search fonte de dados foi projetada para recuperar páginas de busca do Kroger.

Exemplos de requisição

Nos exemplos abaixo, fazemos uma requisição para recuperar uma página de resultados de busca para a consulta tênis de corrida, filtre os resultados pela marca adidas e a faixa de preço 100.00-200.00, e especifique o ID da loja como 1100002.

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "kroger_search",
        "query": "running shoes",
        "price_range": "100.00-200.00",
        "brand": "adidas",
        "store_id": "01100002"
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
    "source": "kroger_search",
    "query": "running shoes",
    "price_range": "100.00-200.00",
    "brand": "adidas",
    "store_id": "01100002",
}

# Get response.
response = requests.request(
    "POST",
    "https://realtime.oxylabs.io/v1/queries",
    auth=("USERNAME", "PASSWORD"),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "kroger_search",
    query: "running shoes",
    price_range: "100.00-200.00",
    brand: "adidas",
    store_id: "01100002",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

https://realtime.oxylabs.io/v1/queries?source=kroger_search&query=running+shoes&price_range=100.00-200.00&brand=adidas&store_id=01100002&access_token=12345abcde

PHP

<?php

$params = array(
    "source" => "kroger_search",
    "query" => "running shoes",
    "price_range" => "100.00-200.00",
    "brand" => "adidas",
    "store_id" => "01100002",
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":     "kroger_search",
		"query": "running shoes",
		"price_range": "100.00-200.00",
		"brand":      "adidas",
		"store_id":   "01100002",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "kroger_search",
                query = "running shoes",
                price_range = "100.00-200.00",
                brand = "adidas",
                store_id = "01100002"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;

import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "kroger_search");
        jsonObject.put("query", "running shoes");
        jsonObject.put("price_range", "100.00-200.00");
        jsonObject.put("brand", "adidas");
        jsonObject.put("store_id", "01100002");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);

            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "kroger_search", 
    "query": "running shoes",
    "price_range": "100.00-200.00",
    "brand": "adidas",
    "store_id": "01100002"
}

Usamos o método de integração síncrona Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção de métodos de integração .

Valores dos parâmetros da requisição

Geral

Configuração básica e opções de personalização para extrair páginas de busca do Kroger.

Parâmetro	Descrição	Valor padrão
source	Define o scraper.	kroger_search
query	A palavra-chave ou frase para buscar produtos.	-
render	Ativa a renderização de JavaScript quando definido como html. Mais informações.	-
callback_url	URL do seu endpoint de callback. Mais informações	-
user_agent_type	Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.	desktop

- parâmetro obrigatório

Localização

Personalize os resultados com base nas localizações das lojas, áreas de entrega e métodos preferidos de atendimento.

Parâmetro	Descrição	Valor padrão	Dependências
store_id	Especifique uma loja. Veja os valores disponíveis aqui. O ID deve começar com '0'.	-	Obrigatório quando fulfillment_type está definido como pickup ou in_store.
delivery_zip	Especifique o CEP do local de entrega.	-	Obrigatório quando fulfillment_type está definido como delivery.
fulfillment_type	Especifique o método de atendimento do pedido. Valores disponíveis: pickup, delivery, in_store.	pickup (se apenas store_id for fornecido)	Requer store_id para pickup e in_store, ou delivery_zip para delivery.

Dependências explicadas:

• pickup e in_store os valores usam o store_id parâmetro para determinar a loja correta.
• delivery usa o delivery_zip parâmetro para especificar o local de entrega.
• Se apenas store_id for fornecido, e fulfillment_type não for especificado, o tipo padrão é pickup.

Se a fulfillment_type e store_id/delivery_zip combinação for inválida (não suportada pelo Kroger), a página raspada retornará com status 400.

Filtragem

Opções para filtrar e refinar os resultados da busca com base em vários critérios.

Parâmetro	Descrição	Valor padrão
price_range	Define a faixa de preço desejada, formatada como min_price-max_price com duas casas decimais, separadas por um hífen (por exemplo, 10.00-20.00).	-
brand	Filtra os resultados de busca para incluir produtos de uma marca específica.	-