Métodos de integración

Explora los tres métodos de integración de la Web Scraper API de Oxylabs (Realtime, Push-Pull, Proxy Endpoint) y aprende en qué se diferencian en el envío de trabajos, el formato y el flujo de trabajo.

Web Scraper API admite tres métodos de integración, cada uno con sus beneficios únicos:

• Push-Pull (admite consultas por lotes). Este método de integración es asíncrono. Esto significa que, al enviar tu trabajo, te devolveremos rápidamente un JSON con la información de tu trabajo, incluidas las URLs para descargar el resultado/comprobar el estado del trabajo. Una vez que hayamos terminado de procesar tu trabajo, POST enviaremos una notificación de finalización del trabajo a tu servidor, momento en el que podrás proceder a descargar los resultados. Este método de integración también permite subir los resultados directamente a tu AWS S3, Google Cloud o a cualquier almacenamiento compatible con S3.

Push-Pull es nuestro método de integración recomendado para gestionar de forma fiable grandes cantidades de datos.

• Realtime. Este método es síncrono. Esto significa que, al enviar tu solicitud de envío del trabajo, tendrás que mantener la conexión abierta hasta que terminemos correctamente tu trabajo o devolvamos un error. Este método de integración es ideal para la extracción de datos en tiempo real cuando necesitas una respuesta inmediata. Puedes enviar cargas JSON con parámetros de scraping y parsing, mientras la API gestiona automáticamente la administración de proxies, los reintentos y la gestión del tráfico de bots.
• Proxy Endpoint. Este método también es síncrono (como Realtime), pero en lugar de usar nuestro servicio a través de una interfaz RESTful, tú puedes usar nuestro endpoint como un proxy. Usa Proxy Endpoint si ya has usado Proxies antes y solo quieres obtener de nosotros el contenido web disponible.

El Time-To-Live (TTL) para todas las conexiones de la API está establecido en 150 segundos. Es importante tener en cuenta que, en casos poco frecuentes, las conexiones pueden agotar el tiempo de espera antes de recibir una respuesta. Factores como la carga del sistema o envíos de trabajos extremadamente complejos pueden contribuir a estos tiempos de espera.