URL

Raspe páginas da Amazon por URL com a Web Scraper API. Exemplos de requisição, saída analisada, renderização JS, geolocalização e opções de user agent documentados.

O amazon source foi desenvolvido para recuperar o conteúdo de várias URLs da Amazon. Isso significa que, em vez de enviar vários parâmetros, você pode nos fornecer uma URL direta para a página da Amazon المطلوبة. Não removemos nenhum parâmetro nem alteramos suas URLs de nenhuma outra forma.

Exemplos de solicitação

Nos exemplos de código abaixo, fazemos uma solicitação para recuperar a página de produto da Amazon para ASIN B08Y6Z944Q.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "amazon", 
        "url": "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
        "parse": true
    }'

import requests
from pprint import pprint


# Estruture o payload.
payload = {
    'source': 'amazon',
    'url': 'https://www.amazon.co.uk/dp/B08Y6Z944Q/',
    'parse': True
}

# Obtenha a resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), #Suas credenciais vão aqui
    json=payload,
)

# Instead of response with job status and results url, this will return the
# Resposta JSON com resultados.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon",
    url: "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon',
    'url' => 'https://www.amazon.co.uk/dp/B08Y6Z944Q/',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "amazon",
		"url":    "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
		"parse":  true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon",
                url = "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon");
        jsonObject.put("url", "https://www.amazon.co.uk/dp/B08Y6Z944Q/");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Exemplo de saída

{
    "results": [
        {
            "content": {
                "ads": [
                    {
                        "pos": 1,
                        "asin": "B0CH3JJN66",
                        "type": "organic_also_viewed",
                        "price": 375,
                        "title": "Samsung TV Smart 4K UHD HDR AU7020 de 55 polegadas (2023) - Crystal UHD 4K Smart TV com imagem HDR, Adaptive Sound Lite, PurColour ",
                        "images": [
                            "https://m.media-amazon.com/images/I/71Dxs5msCcL._AC_SS57_.jpg",
                            "https://m.media-amazon.com/images/I/61rH38KyMnL.jpg",
                            "https://m.media-amazon.com/images/I/71xvR9thu1L.jpg"
                        ],
                        "rating": 4.5,
                        "location": "carousel",
                        "price_upper": 375,
                        "reviews_count": 45,
                        "is_prime_eligible": true
                    },
                    {
                        "pos": 2,
                        "asin": "B0BW9RPQPW",
                        "type": "organic_also_viewed",
                        "price": 362,
                        "title": "TV Smart UHD HDR CU7110 de 50 polegadas (2023) - Processador Crystal 4K, áudio Adaptive Sound, PurColour, hub de jogos integrado, Strea",
                        "images": [
                            "https://m.media-amazon.com/images/I/81eKwOlfhTL._AC_SS57_.jpg",
                            "https://m.media-amazon.com/images/I/619tbh+PSSL.jpg",
                            "https://m.media-amazon.com/images/I/81iuMoHZWhL.jpg"
                        ],
                        "rating": 4.5,
                        "location": "carousel",
                        "price_upper": 362,
                        "reviews_count": 45,
                        "is_prime_eligible": true
                    },
                    {...}
                ],
                "url": "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
                "asin": "B08Y6Z944Q",
                "page": 1,
                "brand": "Samsung",
                "price": 0,
                "stock": "",
                "title": "Samsung AU7100 50 Polegadas (2021) \u00e2\u20ac\u201c Crystal 4K Smart TV com qualidade de imagem HDR10+, Adaptive Sound, imagem Motion Xcelerator, áudio Samsung Q-Symphony e modo de jogo - UE50AU7100KXXU",
                "coupon": "",
                "images": [
                    "https://m.media-amazon.com/images/I/71Urp17dnYL._AC_SL1500_.jpg",
                    ...
                    "https://m.media-amazon.com/images/I/51yb9wscZTL._AC_SL1500_.jpg"
                ],
                "rating": 4.5,
                "category": [
                    {
                        "ladder": [
                            {
                                "url": "/tv-bluray-dvd-home-cinema/b/ref=dp_bc_aui_C_1?ie=UTF8&node=560858",
                                "name": "Home Cinema, TV & Video"
                            },
                            {
                                "url": "/LED-Smart-4K-TVs/b/ref=dp_bc_aui_C_2?ie=UTF8&node=560864",
                                "name": "TVs"
                            }
                        ]
                    }
                ],
                "currency": "GBP",
                "delivery": [],
                "_warnings": [
                    "Não foi possível analisar a contagem de preços.",
                    "Não foi possível analisar o preço.",
                    "Não foi possível analisar a descrição."
                ],
                "page_type": "Produto",
                "price_sns": 0,
                "variation": [
                    {
                        "asin": "B08Y7182XL",
                        "selected": false,
                        "dimensions": {
                            "Size Name": "85\""
                        }
                    },
                    {
                        "asin": "B08Y733RV1",
                        "selected": false,
                        "dimensions": {
                            "Size Name": "43\""
                        }
                    },
                    {...}
                ],
                "has_videos": true,
                "sales_rank": [
                    {
                        "rank": 28405,
                        "ladder": [
                            {
                                "url": "/gp/bestsellers/electronics/ref=pd_zg_ts_electronics",
                                "name": "Eletrônicos e Foto"
                            }
                        ]
                    },
                    {
                        "rank": 479,
                        "ladder": [
                            {
                                "url": "/gp/bestsellers/electronics/560864/ref=pd_zg_hrsr_electronics",
                                "name": "TVs"
                            }
                        ]
                    }
                ],
                "top_review": "Esta é uma excelente TV pelo preço, com uma imagem incrível, especialmente em serviços de streaming, que é o que mais assistimos. Li muitas avaliações profissionais online primeiro, todas a classificando muito bem, e não fiquei decepcionado. Há bastante configuração a fazer e precisei ajustar algumas opções para obter a melhor imagem. No início, a imagem estava escura demais, especialmente no Amazon Prime. Parece que esse é um problema específico do Prime. Consegui uma imagem muito melhor desativando a \"Otimização de Brilho\". Também não gostamos do efeito \"ultra real\" que você obtém com TVs LED 4K. Mudar para o \"Modo Cineasta\" resolveu isso. A qualidade do som é OK, mas usamos uma soundbar de qualquer forma. Gosto particularmente dos dois controles remotos que vêm com a TV. Há um controle remoto tradicional com muitos botões: usei esse no início para configurar tudo, inclusive controlar o player BluRay e a soundbar. Depois que tudo estava funcionando, mudei para o controle menor, que tem apenas os botões mais essenciais, mas parece e parece mais refinado e tem um \"clique\" melhor nos botões do que seu irmão maior. Assistir à TV aberta também é bom, embora não seja tão bom quanto os serviços de streaming. Não somos jogadores, então não posso comentar sobre a qualidade nesse aspecto. No geral, uma ótima TV e uma pechincha.\n  \nLeia mais",
                "asin_in_url": "B08Y6Z944Q",
                "description": "",
                "parent_asin": "B09DLFS6JN",
                "price_upper": 0,
                "pricing_str": "",
                "pricing_url": "https://www.amazon.co.uk/gp/offer-listing/B08Y6Z944Q?startIndex=0",
                "manufacturer": "Samsung",
                "price_buybox": -1,
                "product_name": "Samsung AU7100 50 Polegadas (2021) \u00e2\u20ac\u201c Crystal 4K Smart TV com qualidade de imagem HDR10+, Adaptive Sound, imagem Motion Xcelerator, áudio Samsung Q-Symphony e modo de jogo - UE50AU7100KXXU",
                "bullet_points": "Excelência em entretenimento doméstico com o AU7100 \u2013 uma Smart TV Ultra HD que entrega tudo; a Samsung Smart TV AU7100 de 50 polegadas combina visuais impressionantes, cores vibrantes, áudio nítido e um design fino e elegante para valorizar seu espaço.\nObtenha uma imagem poderosa com impressionante 4K\u2013 sua Smart TV de 50 polegadas inclui Dynamic Crystal Colour e Contrast Enhancer, para que você possa assistir a todos os seus programas favoritos em detalhes 4K impressionantes, com cores vibrantes e contraste que proporciona uma imagem mais nítida.\nExperimente a perfeição do áudio com Adaptive Sound na sua TV- sua TV Samsung ajusta o som em cada cena ao que está na tela, para que você se sinta parte da ação. O Q-Symphony permite uma experiência de cinema quando você adiciona uma soundbar Samsung.\nAtualize a configuração do seu escritório ou mergulhe nos jogos com sua TV Samsung \u2013 O PC na TV permite acessar seu PC de escritório remotamente da sua Smart TV, para que você possa fazer tudo, diretamente da sua sala de estar. Nossa Smart TV também oferece um modo de jogo imersivo.\nComece a experimentar as TVs Samsung - Acreditamos que uma TV é mais do que algo que você assiste. Ela deve inspirar, surpreender, envolver e imergir você. Da qualidade da imagem ao design elegante, nossas TVs ampliam os limites do que é possível e do que uma TV pode ser.",
                "price_initial": 0,
                "pricing_count": 1,
                "reviews_count": 2067,
                "sns_discounts": [],
                "developer_info": [],
                "price_shipping": 0,
                "product_details": {
                    "asin": "B08Y6Z944Q",
                    "batteries": "2 pilhas AAA necessárias. (incluídas)",
                    "manufacturer": "Samsung",
                    "item_model_number": "UE50AU7100KXXU",
                    "product_dimensions": "5.99 x 111.68 x 64.42 cm; 11.4 kg",
                    "date_first_available": "2 Mar. 2021"
                },
                "featured_merchant": [],
                "is_prime_eligible": false,
                "parse_status_code": 12005,
                "product_dimensions": "5.99 x 111.68 x 64.42 cm; 11.4 kg",
                "answered_questions_count": 0,
                "rating_stars_distribution": [
                    {
                        "rating": 5,
                        "percentage": 74
                    },
                    {
                        "rating": 4,
                        "percentage": 15
                    },
                    {...}
                ]
            },
            "created_at": "2024-07-01 10:35:28",
            "updated_at": "2024-07-01 10:35:32",
            "page": 1,
            "url": "https://www.amazon.co.uk/dp/B08Y6Z944Q/",
            "job_id": "7213490386797350913",
            "status_code": 200,
            "parser_type": ""
        }
    ]
}

Usamos o método de integração Realtime síncrona em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção métodos de integração .

Valores dos parâmetros da solicitação

Genérico

Configuração básica e opções de personalização para coletar URLs do Google.

Parâmetro

Descrição

Valor padrão

source

Define o scraper.

amazon

url

URL direta (link) para a página da Amazon

render

Habilita a renderização de JavaScript quando definido como html. Mais informações.

parse

Retorna dados analisados quando definido como true. Limitado a URLs de tipos específicos de página da Amazon.

false

callback_url

URL para seu endpoint de callback. Mais informações.

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

- parâmetro obrigatório

Localização

Adapte os resultados a locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor padrão

geo_location

O Entregar para localização. Veja nosso guia de uso deste parâmetro aqui.

locale

valor do cabeçalho valor do cabeçalho, que define o idioma da interface da página da Amazon. Mais informações.

IMPORTANTE: Na maioria dos tipos de página, a Amazon adapta os resultados retornados com base no local de entrega dos clientes. Portanto, recomendamos usar o geo_location parâmetro para definir seu local de entrega preferido. Você pode ler mais sobre o uso de geo_location com a Amazon aqui.

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro

Descrição

Valor padrão

context: currency

Define a moeda. Confira os valores disponíveis aqui.

Depende do marketplace. Confira os valores padrão aqui.

AnteriorMais Vendidos PróximoAvnet

Atualizado há 25 dias

Isto foi útil?