Cualquier dominio

Encuentra guías dedicadas y universales de Oxylabs Web Scraper API para cualquier sitio web público.

Descubre nuestras guías dedicadas de Web Scraper API para sitios web de comercio electrónico, motores de búsqueda, LLMs y IA, datos de video, bienes raíces plataformas, o extrae cualquier sitio web público con nuestra universal fuente usando la guía a continuación. Acepta URLs junto con parámetros adicionales.

Ejemplos de solicitud

En este ejemplo, la API recuperará una página de producto de comercio electrónico.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/products/1"
    }'

import requests
from pprint import pprint


# Estructura la carga útil.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/products/1',
}

# Obtén la respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá la
# respuesta JSON con el resultado.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/products/1",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

# Toda la cadena que envíes debe estar codificada en URL.

https://realtime.oxylabs.io/v1/queries?source=universal&url=https%3A%2F%2Fsandbox.oxylabs.io%2Fproducts%2F1&access_token=12345abcde

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/products/1',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/products/1",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/products/1"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/products/1");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Ejemplo de salida

{
    "results": [
        {
            "content": "<!DOCTYPE html><html lang=\"en\">
            CONTENIDO
            </html>",
            "created_at": "2024-07-01 11:35:14",
            "updated_at": "2024-07-01 11:35:15",
            "page": 1,
            "url": "https://sandbox.oxylabs.io/products/1",
            "job_id": "7213505428280329217",
            "status_code": 200
        }
    ]
}

Usamos el método de integración síncrona Realtime en nuestros ejemplos. Si deseas usar Proxy Endpoint o la integración asíncrona Push-Pull consulta la sección de métodos de integración .

Valores de los parámetros de solicitud

Genérico

Parámetro

Descripción

Valor predeterminado

source

Establece el scraper.

universal

url

URL directa (enlace) a cualquier página.

callback_url

URL de tu endpoint de callback. Más información.

- parámetro obligatorio

Adicional

Estos son los parámetros de nuestro funcionalidades.

Parámetro

Descripción

Valor predeterminado

geo_location

Establece la ubicación geográfica del proxy para recuperar datos. Encuentra ubicaciones compatibles aquí.

render

Habilita el renderizado de JavaScript cuando se establece en html. Más información. NOTA: Si observas tasas de éxito bajas o recuperas contenido vacío, intenta añadir este parámetro.

browser_instructions

Define tus propias instrucciones del navegador que se ejecutan al renderizar JavaScript. Más información.

parse

Devuelve datos analizados cuando se establece en true, siempre que exista un analizador dedicado para el tipo de página de la URL enviada.

false

parsing_instructions

Define tu propia lógica de análisis y transformación de datos que se ejecutará sobre un resultado de scraping HTML. Leer más: Ejemplos de instrucciones de análisis.

context: headers

Envía tus propios encabezados. Más información aquí.

context: cookies

Envía tus propias cookies. Más información aquí.

context: session_id

Si quieres usar el mismo proxy con varias solicitudes, puedes hacerlo usando este parámetro. Solo establece tu sesión con cualquier cadena que quieras, y asignaremos un proxy a este ID, y lo mantendremos hasta 10 minutos. Después de eso, si haces otra solicitud con el mismo ID de sesión, se asignará un nuevo proxy a ese ID de sesión en particular.

context: http_method

Establécelo en post si deseas hacer una solicitud POST a tu URL de destino a través de E-Commerce Scraper API. Más información aquí.

get

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.

desktop

context: contenido

codificado en Base64 POST cuerpo de la solicitud. Solo es útil si http_method está establecido en post.

content_encoding

Añade este parámetro si estás descargando imágenes. Más información aquí.

base64

context: follow_redirects

Establecer en true para habilitar que el scraper siga redirecciones. De forma predeterminada, las redirecciones se siguen hasta un límite de 10 enlaces, tratando toda la cadena como un solo trabajo de scraping.

true

context: successful_status_codes

Define un código de respuesta HTTP personalizado (o varios), con el que consideraremos que el scraping fue exitoso y te devolveremos el contenido. Puede ser útil si quieres que devolvamos la página de error 503 o en otros casos no estándar.

Todos los parámetros

En este ejemplo, se incluyen todos los parámetros disponibles (aunque no siempre sean necesarios o compatibles dentro de la misma solicitud), para darte una idea de cómo formatear tus solicitudes.

{
    "source": "universal", 
    "url": "https://example.com", 
    "user_agent_type": "desktop",
    "geo_location": "United States",
    "parse": true,
    "context": [
        {
            "key": "headers", 
            "value": {
                "Content-Type": "application/octet-stream", 
                "Custom-Header-Name": "custom header content"
            }
        }, 
        {
            "key": "cookies", 
            "value": [
                {
                    "key": "NID", 
                    "value": "1234567890"
                },
                {
                    "key": "1P JAR",
                    "value": "0987654321"
                }]
        },
        {
            "key": "follow_redirects",
            "value": true
        },
        {
            "key": "http_method", "value": "get"
        },
        {
            "key": "content",
            "value": "YmFzZTY0RW5jb2RlZFBPU1RCb2R5"
        },
        {
            "key": "successful_status_codes",
            "value": [808, 909]
        }]
}

SiguienteComercio electrónico

Última actualización hace 1 mes

¿Te fue útil?