Métodos de integración

Explore los tres métodos de integración para la Oxylabs Web Scraper API (Realtime, Push-Pull, Proxy Endpoint) y aprenda cómo difieren en envío de trabajos, formato y flujo de trabajo.

Web Scraper API admite tres métodos de integración, cada uno con sus beneficios únicos:

• Realtime. Este método es síncrono. Esto significa que al enviar su solicitud de envío de trabajo, deberá mantener la conexión abierta hasta que finalicemos con éxito su trabajo o devolvamos un error. Este método de integración es ideal si desea enviar cargas JSON con descripciones de trabajos de raspado y análisis, incluyendo algunos parámetros avanzados de raspado, a nuestra API.

• Push-Pull (admite consultas por lotes). Este método de integración es asíncrono. Esto significa que al enviar su trabajo, le devolveremos rápidamente un JSON con la información del trabajo, incluidas las URL para descargar el resultado/comprobar el estado del trabajo. Una vez que hayamos terminado de procesar su trabajo, POST una notificación sobre la finalización del trabajo a su servidor, momento en el cual podrá descargar los resultados. Este método de integración también permite subir los resultados directamente a su (AWS S3 o Google Cloud Storage).

Push-Pull es nuestro método de integración recomendado para gestionar de manera fiable grandes cantidades de datos.

• Proxy Endpoint. Este método también es síncrono (como Realtime), pero en lugar de usar nuestro servicio a través de una interfaz RESTful, usted puede usar nuestro endpoint como un proxy. Use Proxy Endpoint si ha usado proxies antes y solo desea obtener contenido desbloqueado de nosotros.

El Time-To-Live (TTL) para todas las conexiones API está configurado en 150 segundos. Es importante señalar que en casos raros, las conexiones pueden agotar el tiempo de espera antes de recibir una respuesta. Factores como la carga del sistema o envíos de trabajos extremadamente complejos pueden contribuir a los timeouts.