Realtime
Integración Realtime para la Web Scraper API de Oxylabs. Mantén la conexión HTTPS abierta desde el envío del trabajo hasta que se devuelvan los resultados o un error, usando cargas útiles formateadas en JSON.
Realtime es un método de integración sincrónica. Requiere mantener la conexión abierta hasta que el trabajo se complete correctamente o devuelva un error. Es el método más rápido de implementar; para grandes volúmenes de datos, usa Push-Pull en su lugar.
Envío de trabajos
Endpoint
El endpoint de la Realtime API para el envío de trabajos es:
POST https://realtime.oxylabs.io/v1/queriesEntrada
Proporciona los parámetros del trabajo en una carga útil JSON como se muestra en los ejemplos de abajo. Los ejemplos de Python y PHP incluyen comentarios para mayor claridad.
curl --user "USERNAME:PASSWORD" \\
'https://realtime.oxylabs.io/v1/queries' \\
-H "Content-Type: application/json" \\
-d '{"source": "universal", "url": "https://example.com", "geo_location": "United States"}'import requests
from pprint import pprint
# Estructura la carga útil.
payload = {
"source": "universal", # Fuente que elijas, por ejemplo, "universal"
"url": "https://example.com", # Consulta la documentación de la fuente específica que estás usando para ver si debes usar "url" o "query"
"geo_location": "United States", # Algunas fuentes aceptan códigos postales y/o coordenadas
#"render" : "html", # Descomenta si quieres renderizar JavaScript en la página
#"render" : "png", # Descomenta si quieres tomar una captura de pantalla de una página web raspada
#"parse" : True, # Comprueba qué fuentes admiten datos analizados
}
# Obtén la respuesta.
response = requests.request(
'POST',
'https://realtime.oxylabs.io/v1/queries',
auth=('YOUR_USERNAME', 'YOUR_PASSWORD'), #Tus credenciales van aquí
json=payload,
)
# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá la
# respuesta JSON con los resultados.
pprint(response.json())Salida
Realtime API admite estos tipos de resultado en la salida:
HTML: El contenido HTML en bruto extraído de la página web de destino;
JSON: Datos estructurados analizados a partir del contenido HTML, formateados en JSON;
PNG: Captura de pantalla codificada en Base64 de la página renderizada en formato PNG.
XHR: Solicitudes XHR realizadas mientras se cargaba la página.
Markdown: Markdown de una página web.
Esta tabla explica los tipos de resultado predeterminados según los parámetros incluidos en la carga útil de la solicitud de la API:
-
-
html
html
-
html
png
-
png
-
true
json
html
true
json
png
true
png
De forma predeterminada, Realtime solo devuelve la salida predeterminada para tu carga útil. Para recibir una o más de las salidas disponibles en su lugar, añade el tipo parámetro de consulta al endpoint, como se muestra abajo. Cada tipo solicitado se devuelve como una entrada separada en el results Esta es la funcionalidad de varios tipos de resultado y funciona igual en Realtime y Push-Pull.
Ejemplo de salida:
Última actualización
¿Te fue útil?