Fuente universal

Consulta cómo se verían tus solicitudes con la universal source.

Raspar otros sitios web (Home Depot, Idealo, Zillow, Yandex, Baidu, etc.) con nuestro universal source. Acepta URLs junto con parámetros adicionales.

Solicitudes de ejemplo

En este ejemplo, la API recuperará una página de producto de comercio electrónico.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/products/1"
    }'

import requests
from pprint import pprint


# Estructurar la carga útil.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/products/1',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá el
# respuesta JSON con el resultado.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/products/1",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

# Toda la cadena que envíes debe estar codificada en la URL.

https://realtime.oxylabs.io/v1/queries?source=universal&url=https%3A%2F%2Fsandbox.oxylabs.io%2Fproducts%2F1&access_token=12345abcde

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/products/1',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/products/1",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/products/1"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/products/1");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Ejemplo de salida

{
    "results": [
        {
            "content": "<!DOCTYPE html><html lang=\"en\">
            CONTENIDO
            </html>",
            "created_at": "2024-07-01 11:35:14",
            "updated_at": "2024-07-01 11:35:15",
            "page": 1,
            "url": "https://sandbox.oxylabs.io/products/1",
            "job_id": "7213505428280329217",
            "status_code": 200
        }
    ]
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o la integración asíncrona Push-Pull de integración, consulte la métodos de integración sección.

Valores de parámetros de la solicitud

Genérico

Parámetro

Descripción

Valor predeterminado

source

Configura el scraper.

universal

url

URL directa (enlace) a cualquier página.

callback_url

URL de su endpoint de callback. Más información.

- parámetro obligatorio

Adicional

Estos son los parámetros de nuestro funcionalidades.

Parámetro

Descripción

Valor predeterminado

geo_location

Establece la ubicación geográfica del proxy para recuperar datos. Encuentra las ubicaciones compatibles here.

render

Habilita el renderizado de JavaScript cuando se establece en html. Más información. NOTA: Si observa bajas tasas de éxito o recupera contenido vacío, intente agregar este parámetro.

browser_instructions

Defina sus propias instrucciones para el navegador que se ejecutan al renderizar JavaScript. Más información.

parse

Devuelve datos parseados cuando se establece en true, siempre y cuando exista un parser dedicado para el tipo de página de la URL enviada.

false

parsing_instructions

Defina su propia lógica de parseo y transformación de datos que se ejecutará sobre el resultado del scraping HTML. Lea más: Ejemplos de instrucciones de parseo.

context: headers

Pase sus propios encabezados. Más información here.

context: cookies

Pase sus propias cookies. Más información here.

context: session_id

Si desea usar el mismo proxy con múltiples solicitudes, puede hacerlo usando este parámetro. Simplemente configure su sesión con cualquier cadena que desee, y asignaremos un proxy a este ID y lo mantendremos hasta 10 minutos. Después de eso, si realiza otra solicitud con el mismo ID de sesión, se asignará un nuevo proxy a ese ID de sesión en particular.

context: http_method

Establézcalo en post si desea hacer un POST request a su URL de destino a través de E-commerce Scraper API. Más información here.

get

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar here.

desktop

context: content

Codificado en Base64 POST cuerpo de la solicitud. Solo es útil si http_method está establecido en post.

content_encoding

Agregue este parámetro si está descargando imágenes. Más información here.

base64

context: follow_redirects

Establecer en true para permitir que el scraper siga redirecciones. Por defecto, las redirecciones se siguen hasta un límite de 10 enlaces, tratando toda la cadena como un único trabajo de scraping.

true

context: successful_status_codes

Defina un código de respuesta HTTP personalizado (o varios), sobre el cual debemos considerar el scraping como exitoso y devolver el contenido. Puede ser útil si desea que devolvamos la página de error 503 o en algunos otros casos no estándar.

Todos los parámetros

En este ejemplo, se incluyen todos los parámetros disponibles (aunque no siempre son necesarios o compatibles dentro de la misma solicitud), para darle una idea de cómo formatear sus solicitudes.

{
    "source": "universal", 
    "url": "https://example.com", 
    "user_agent_type": "desktop",
    "geo_location": "United States",
    "parse": true,
    "context": [
        {
            "key": "headers", 
            "value": {
                "Content-Type": "application/octet-stream", 
                "Custom-Header-Name": "custom header content"
            }
        }, 
        {
            "key": "cookies", 
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                },
                {
                    "key": "1P JAR",
                    "value": "0987654321"
                }]
        },
        {
            "key": "follow_redirects",
            "value": true
        },
        {
            "key": "http_method", "value": "get"
        },
        {
            "key": "content",
            "value": "YmFzZTY0RW5jb2RlZFBPU1RCb2R5"
        },
        {
            "key": "successful_status_codes",
            "value": [808, 909]
        }]
}

AnteriorAutocompletar SiguienteWalmart

Última actualización hace 15 días

¿Te fue útil?

Buenas tardes

hashtagSolicitudes de ejemplo

hashtagValores de parámetros de la solicitud

hashtagGenérico

hashtagAdicional

Solicitudes de ejemplo

Valores de parámetros de la solicitud

Genérico

Adicional