Realtime

Integración Realtime para la Web Scraper API de Oxylabs. Mantenga la conexión HTTPS abierta desde el envío del trabajo hasta que se devuelvan resultados o un error, usando payloads en formato JSON.

Realtime es un método de integración síncrono. Se requiere mantener la conexión abierta hasta que el trabajo termine correctamente o devuelva un error.

Envío de trabajo

Endpoint

El endpoint Realtime API para el envío de trabajos es:

POST https://realtime.oxylabs.io/v1/queries

Entrada

Proporciona los parámetros del trabajo en una carga JSON como se muestra en los ejemplos a continuación. Los ejemplos en Python y PHP incluyen comentarios para mayor claridad.

curl --user "USERNAME:PASSWORD" \
'https://realtime.oxylabs.io/v1/queries' \
-H "Content-Type: application/json" \
-d '{"source": "universal", "url": "https://example.com", "geo_location": "United States"}'

import requests
from pprint import pprint


# Estructurar payload.
payload = {
    "source": "universal", # Fuente que eliges p. ej. "universal"
    "url": "https://example.com", # Consulta la documentación de la fuente específica que estés usando para ver si debes usar "url" o "query"
    "geo_location": "United States", # Algunas fuentes aceptan códigos postales y/o coordenadas
    #"render" : "html", # Descomenta si deseas renderizar JavaScript en la página
    #"render" : "png", # Descomenta si quieres tomar una captura de pantalla de una página web raspada
    #"parse" : true, # Comprueba qué fuentes soportan datos parseados
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('YOUR_USERNAME', 'YOUR_PASSWORD'), #Tus credenciales van aquí
    json=payload,
)

json=payload
# respuesta JSON con resultados.
pprint(response.json())

<?php

$params = array(
    'source' => 'universal', // Fuente que eliges p. ej. "universal"
    'url' => 'https://example.com', // Consulta la documentación de la fuente específica que estés usando para ver si debes usar "url" o "query"
    'geo_location' => 'United States', // Algunas fuentes aceptan código postal o coordenadas
    //'render' : 'html', // Descomenta si quieres renderizar JavaScript dentro de la página
    //'render' : 'png', // Descomenta si quieres tomar una captura de pantalla de una página web raspada
    //'parse' : TRUE, // Comprueba qué fuentes soportan datos parseados
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "YOUR_USERNAME" . ":" . "YOUR_PASSWORD"); //Tus credenciales van aquí

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close ($ch);PHP

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "YOUR_USERNAME";
            const string Password = "YOUR_PASSWORD";

            var parameters = new Dictionary<string, string>()
            {
                { "source", "universal" },
                { "url", "https://example.com" },
                { "geo_location", "United States" },
            };


            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "YOUR_USERNAME"
	const Password = "YOUR_PASSWORD"

	payload := map[string]string{
		"source": "universal",
		"url": "https://example.com",
		"geo_location": "Estados Unidos",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "YOUR_USERNAME";
    public static final String PASSWORD = "YOUR_PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://example.com");
        jsonObject.put("geo_location", "United States");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);

            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            assert response.body() != null;
            System.out.println(response.body().string());
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

import fetch from 'node-fetch';

const username = 'YOUR_USERNAME';
const password = 'YOUR_PASSWORD';
const body = {
  source: 'universal',
  url: 'https://example.com',
  geo_location: 'United States'
};
const response = await fetch('https://realtime.oxylabs.io/v1/queries', {
  method: 'post',
  body: JSON.stringify(body),
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Basic ' + Buffer.from(`${username}:${password}`).toString('base64'),
  }
});

console.log(await response.json());

Salida

Realtime API admite estos tipos de resultado en la salida:

HTML: El contenido HTML sin procesar extraído de la página web objetivo;
JSON: Datos estructurados analizados desde el contenido HTML, formateados en JSON;
PNG: Captura de pantalla en PNG codificada en Base64 de la página renderizada.
XHR: Solicitudes XHR realizadas mientras se carga la página.
Markdown: Markdown de una página web.

También puedes recuperar múltiples tipos de resultados en una sola respuesta de la API.

Esta tabla explica los tipos de resultado predeterminados y otros disponibles según los parámetros incluidos en la carga útil de la solicitud API.

Parámetro render

Parámetro parse

Salida por defecto

Salida disponible

html

html

html

png

png

html, png

true

json

html, json

html

true

json

html, json

png

true

png

html, json, png

Realtime API siempre devuelve la salida predeterminada. Para obtener otras salidas disponibles del mismo trabajo realtime, usa endpoints Push-Pull con ese ID de trabajo. Ten en cuenta que el ID de trabajo puede encontrarse en las cabeceras de cada respuesta realtime así como dentro del cuerpo de la respuesta.

Ejemplo de salida:

{
  "results": [
    {
      "content": "<html>
      CONTENIDO
      </html>",
      "created_at": "2024-06-26 13:13:06",
      "updated_at": "2024-06-26 13:13:07",
      "id": null,
      "page": 1,
      "url": "https://www.example.com/",
      "job_id": "12345678900987654321",
      "status_code": 200
    }
  ]
}

AnteriorMétodos de integración SiguientePush-Pull

Última actualización hace 4 meses

¿Te fue útil?

Buenas tardes

Envío de trabajo

Endpoint

Entrada

Salida

Ejemplo de salida: