For the complete documentation index, see llms.txt. This page is also available as Markdown.

Realtime

Integración Realtime para la Web Scraper API de Oxylabs. Mantén la conexión HTTPS abierta desde el envío del trabajo hasta que se devuelvan los resultados o un error, usando cargas útiles formateadas en JSON.

Realtime es un método de integración sincrónica. Requiere mantener la conexión abierta hasta que el trabajo se complete correctamente o devuelva un error. Es el método más rápido de implementar; para grandes volúmenes de datos, usa Push-Pull en su lugar.

Envío de trabajos

Endpoint

El endpoint de la Realtime API para el envío de trabajos es:

POST https://realtime.oxylabs.io/v1/queries

Entrada

Proporciona los parámetros del trabajo en una carga útil JSON como se muestra en los ejemplos de abajo. Los ejemplos de Python y PHP incluyen comentarios para mayor claridad.

curl --user "USERNAME:PASSWORD" \\
'https://realtime.oxylabs.io/v1/queries' \\
-H "Content-Type: application/json" \\
-d '{"source": "universal", "url": "https://example.com", "geo_location": "United States"}'
import requests
from pprint import pprint


# Estructura la carga útil.
payload = {
    "source": "universal", # Fuente que elijas, por ejemplo, "universal"
    "url": "https://example.com", # Consulta la documentación de la fuente específica que estás usando para ver si debes usar "url" o "query"
    "geo_location": "United States", # Algunas fuentes aceptan códigos postales y/o coordenadas
    #"render" : "html", # Descomenta si quieres renderizar JavaScript en la página
    #"render" : "png", # Descomenta si quieres tomar una captura de pantalla de una página web raspada
    #"parse" : True, # Comprueba qué fuentes admiten datos analizados
}

# Obtén la respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('YOUR_USERNAME', 'YOUR_PASSWORD'), #Tus credenciales van aquí
    json=payload,
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá la
# respuesta JSON con los resultados.
pprint(response.json())

Salida

Realtime API admite estos tipos de resultado en la salida:

  • HTML: El contenido HTML en bruto extraído de la página web de destino;

  • JSON: Datos estructurados analizados a partir del contenido HTML, formateados en JSON;

  • PNG: Captura de pantalla codificada en Base64 de la página renderizada en formato PNG.

  • XHR: Solicitudes XHR realizadas mientras se cargaba la página.

  • Markdown: Markdown de una página web.

Esta tabla explica los tipos de resultado predeterminados según los parámetros incluidos en la carga útil de la solicitud de la API:

Parámetro de renderizado
Parámetro de parseo
Salida predeterminada

-

-

html

html

-

html

png

-

png

-

true

json

html

true

json

png

true

png

De forma predeterminada, Realtime solo devuelve la salida predeterminada para tu carga útil. Para recibir una o más de las salidas disponibles en su lugar, añade el tipo parámetro de consulta al endpoint, como se muestra abajo. Cada tipo solicitado se devuelve como una entrada separada en el results Esta es la funcionalidad de varios tipos de resultado y funciona igual en Realtime y Push-Pull.

Algunas fuentes tienen un parser dedicado; usa parse: true con esas. Para cualquier otro destino, usa Custom Parser. Cada resultado analizado lleva un parse_status_code; consulta los códigos de respuesta para ver qué significa cada valor.

Ejemplo de salida:

La respuesta también incluye _request, _response, y session_info objetos, omitidos aquí por brevedad. Cuando parse se usa, parser_type y parser_preset también se devuelven.

Última actualización

¿Te fue útil?