Métodos de integración

Explora los tres métodos de integración de Oxylabs Web Scraper API (Realtime, Push-Pull, Proxy Endpoint) y aprende en qué se diferencian en el envío de trabajos, el formato y el flujo de trabajo.

Web Scraper API admite tres métodos de integración, cada uno con sus beneficios únicos:

• Realtime. Este método es síncrono. Esto significa que, al enviar su solicitud de envío de trabajo, tendrá que mantener la conexión abierta hasta que terminemos correctamente su trabajo o devolvamos un error. Este método de integración es ideal para la extracción de datos en tiempo real cuando necesita una respuesta inmediata. Puede enviar cargas útiles JSON con parámetros de scraping y análisis, mientras la API gestiona automáticamente la administración de proxies, los reintentos y los sistemas antibot.

• Push-Pull (admite consultas por lotes). Este método de integración es asíncrono. Esto significa que, al enviar su trabajo, le devolveremos rápidamente un JSON con la información de su trabajo, incluidas las URL para descargar el resultado/verificar el estado del trabajo. Una vez que hayamos terminado de procesar su trabajo, POST le enviaremos una notificación de finalización del trabajo a su servidor, momento en el que podrá descargar los resultados. Este método de integración también permite subir los resultados directamente a su (AWS S3 o Google Cloud Storage).

Push-Pull es nuestro método de integración recomendado para manejar de forma fiable grandes cantidades de datos.

• Proxy Endpoint. Este método también es síncrono (como Realtime), pero en lugar de usar nuestro servicio a través de una interfaz RESTful, usted puede usar nuestro endpoint como un proxy. Use Proxy Endpoint si ya ha usado Proxies antes y solo quiere obtener contenido desbloqueado de nosotros.

El Time-To-Live (TTL) para todas las conexiones de API está configurado en 150 segundos. Es importante tener en cuenta que, en casos raros, las conexiones pueden agotar el tiempo de espera antes de recibir una respuesta. Factores como la carga del sistema o envíos de trabajos extremadamente complejos pueden contribuir a estos tiempos de espera.