Objetivo genérico

Ve cómo se verían tus solicitudes con la fuente universal.

Raspa otros sitios web (Home Depot, Idealo, Zillow, Yandex, Baidu, etc.) con nuestro fuente universal fuente. Acepta URLs junto con parámetros adicionales.

Solicitar ejemplos

En este ejemplo, la API recuperará una página de producto de comercio electrónico.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/products/1"
    }'

import requests
from pprint import pprint


# Estructurar payload.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/products/1',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

json=payload
# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá la
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/products/1",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/products/1',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/products/1",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/products/1"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/products/1");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Ejemplo de salida

{
    "results": [
        {
            "content": "<!DOCTYPE html><html lang=\"en\">
            CONTENIDO
            </html>",
            "created_at": "2024-07-01 11:35:14",
            "updated_at": "2024-07-01 11:35:15",
            "page": 1,
            "url": "https://sandbox.oxylabs.io/products/1",
            "job_id": "7213505428280329217",
            "status_code": 200
        }
    ]
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o asíncrono Push-Pull para la integración, consulte los métodos de integración sección.

Valores de parámetros de la solicitud

Genérico

Parámetro

Descripción

Valor predeterminado

source

Establece el scraper.

fuente universal

url

URL directa (enlace) a cualquier página.

callback_url

URL de su endpoint de callback. Más información.

- parámetro obligatorio

Adicional

Estos son los parámetros de nuestro funciones.

Parámetro

Descripción

Valor predeterminado

geo_location

Establece la ubicación geográfica del proxy para recuperar datos. Encuentra las ubicaciones compatibles aquí.

user_agent_type

Activa el renderizado de JavaScript cuando se establece en html. Más información. NOTA: Si observa bajas tasas de éxito o recupera contenido vacío, intente agregar este parámetro.

browser_instructions

Defina sus propias instrucciones del navegador que se ejecutan al renderizar JavaScript. Más información.

parse

Devuelve datos parseados cuando se establece en true, siempre que exista un analizador dedicado para el tipo de página de la URL enviada.

false

parsing_instructions

Defina su propia lógica de análisis y transformación de datos que se ejecutará sobre un resultado de raspado HTML. Lea más: Ejemplos de instrucciones de análisis.

context: encabezados

Envíe sus propios encabezados. Aprenda más aquí.

context: cookies

Envíe sus propias cookies. Aprenda más aquí.

context: session_id

Si desea usar el mismo proxy con múltiples solicitudes, puede hacerlo usando este parámetro. Solo establezca su sesión en cualquier cadena que desee, y asignaremos un proxy a este ID y lo mantendremos hasta por 10 minutos. Después de eso, si realiza otra solicitud con el mismo ID de sesión, se asignará un nuevo proxy a ese ID de sesión en particular.

context: http_method

Establecer en post si desea hacer una POST solicitud a su URL objetivo vía E-commerce Scraper API. Aprenda más aquí.

get

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.

desktop

context: contenido

Codificado en Base64 POST cuerpo de la solicitud. Solo es útil si http_method está configurado a post.

content_encoding

Añade este parámetro si estás descargando imágenes. Aprende más aquí.

base64

context: follow_redirects

Establecer en true para permitir que el scraper siga redirecciones. Por defecto, las redirecciones se siguen hasta un límite de 10 enlaces, tratando toda la cadena como un único trabajo de raspado.

true

context: successful_status_codes

Defina un código de respuesta HTTP personalizado (o varios), sobre los cuales deberíamos considerar el raspado exitoso y devolverle el contenido. Puede ser útil si desea que devolvamos la página de error 503 o en otros casos no estándar.

Todos los parámetros

En este ejemplo, se incluyen todos los parámetros disponibles (aunque no siempre sean necesarios o compatibles dentro de la misma solicitud), para darle una idea de cómo formatear sus solicitudes.

{
    "source": "universal", 
    "url": "https://example.com", 
    "user_agent_type": "desktop",
    "geo_location": "Estados Unidos",
    "parse": true,
    "context": [
        {
            "key": "headers", 
            "value": {
                "Content-Type": "application/octet-stream", 
                "Custom-Header-Name": "contenido de encabezado personalizado"
            }
        }, 
        {
            "key": "cookies", 
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                },
                {
                    "key": "1P JAR",
                    "value": "0987654321"
                }]
        },
        {
            "key": "follow_redirects",
            "value": true
        },
        {
            "key": "http_method", "value": "get"
        },
        {
            "key": "content",
            "value": "YmFzZTY0RW5jb2RlZFBPU1RCb2R5"
        },
        {
            "key": "successful_status_codes",
            "value": [808, 909]
        }]
}

AnteriorAutocompletar de YouTube SiguienteWalmart

Última actualización hace 5 meses

¿Te fue útil?

Buenas tardes

Solicitar ejemplos

Valores de parámetros de la solicitud

Genérico

Adicional