Métodos de integración

Explora los tres métodos de integración para Oxylabs Web Scraper API (Realtime, Push-Pull, Proxy Endpoint) y aprende en qué se diferencian en el envío de trabajos, el formato y el flujo de trabajo.

Web Scraper API admite tres métodos de integración, cada uno con sus beneficios únicos:

• Realtime. Este método es sincrónico. Esto significa que al enviar su solicitud de envío de trabajo, tendrá que mantener la conexión abierta hasta que finalicemos correctamente su trabajo o devolvamos un error. Este método de integración es ideal si desea enviar cargas JSON con descripciones de trabajos de scraping y análisis, incluidos algunos parámetros avanzados de scraping, a nuestra API.

• Push-Pull (admite consultas por lotes). Este método de integración es asíncrono. Esto significa que al enviar su trabajo, le devolveremos rápidamente un JSON con la información de su trabajo, incluidas las URL para descargar el resultado/verificar el estado del trabajo. Una vez que terminemos de procesar su trabajo, POST una notificación sobre la finalización del trabajo a su servidor, momento en el que podrá descargar los resultados. Este método de integración también permite cargar resultados directamente a su (AWS S3 o Google Cloud Storage).

Push-Pull es nuestro método de integración recomendado para manejar de manera fiable grandes cantidades de datos.

• Proxy Endpoint. Este método también es sincrónico (como Realtime), pero en lugar de usar nuestro servicio a través de una interfaz RESTful, usted puede usar nuestro endpoint como un proxy. Use Proxy Endpoint si ha usado proxies antes y solo desea obtener contenido desbloqueado de nosotros.

El Time-To-Live (TTL) para todas las conexiones API está configurado en 150 segundos. Es importante notar que en raras ocasiones, las conexiones pueden expirar antes de recibir una respuesta. Factores como la carga del sistema o envíos de trabajos extremadamente complejos pueden contribuir a los tiempos de espera.