Scheduler
Automatiza trabajos de scraping recurrentes con el Scheduler gratuito en Web Scraper API. Establece la frecuencia con cron, especifica elementos del trabajo y hora de finalización, y supervisa las ejecuciones mediante endpoints dedicados.
Scheduler es una función gratuita de Web Scraper API que te permite automatizar trabajos recurrentes de scraping y parsing creando programaciones.
Mira el videotutorial a continuación para aprender más sobre Scheduler y cómo funciona.
Recomendamos usar Scheduler junto con la Subir a Cloud Storage función. De esta manera, puedes configurar tu programación y recibir actualizaciones periódicas de datos en tu almacenamiento sin intentar obtener resultados de nuestro sistema.
IMPORTANTE: Scheduler es una herramienta poderosa que puede aumentar rápidamente tu factura de servicio. Recomendamos probarla con unos pocos elementos de trabajo y un número limitado de repeticiones para asegurarte de obtener los datos correctos en los intervalos correctos. Una vez que eso esté establecido, puedes detener la programación de prueba y crear una nueva programación ampliada.
Inicio rápido
Al crear una nueva programación, sigue los simples pasos a continuación.
Indícanos con qué frecuencia debemos repetir los trabajos enviando una expresión cron;
Danos un conjunto de parámetros de trabajo que debemos ejecutar en los momentos programados;
Avísanos cuándo detenernos enviando una hora de finalización.
Ver aquí para encontrar un ejemplo de código para enviar una nueva programación.
Endpoints
Scheduler tiene varios endpoints que puedes usar para controlar el servicio:
Crear una nueva programación
Resumen
Usa este endpoint para iniciar una nueva programación.
Endpoint:
https://data.oxylabs.io/v1/schedulesMétodo:
POSTAutenticación:
BasicEncabezados de la solicitud:
Content-Type: application/json
Entrada
cron
-
elementos
Lista de conjuntos de parámetros de trabajo de Scraper API que deben ejecutarse como parte de la programación.
-
end_time
La hora en la que la programación debe dejar de ejecutarse. NB: la hora de finalización es inclusiva.
-
- parámetro requerido
La carga útil de abajo hará que Scheduler ejecute dos trabajos a las 03:00 los lunes hasta end_time (inclusive).
Salida
La respuesta a continuación confirma que la programación se creó correctamente. Incluye items_count (el número de conjuntos de parámetros de trabajo que enviaste), la hora de la primera ejecución y enlaces a los ejecuciones y trabajos endpoints de la nueva programación.
Obtener todas las programaciones
Resumen
Usa este endpoint para obtener la lista de todas las programaciones asociadas con tu cuenta de usuario.
Endpoint:
https://data.oxylabs.io/v1/schedulesMétodo:
GETAutenticación:
Basic
Salida
Este endpoint devuelve la lista de todos los IDs de programación asociados con la cuenta de usuario que hace la solicitud.
Consulta la respuesta de ejemplo a continuación. Los IDs de programación se devuelven como cadenas.
Obtener información de ejecuciones
Resumen
Usa este endpoint para obtener información sobre una lista de todas las ejecuciones de una programación, con los metadatos de cada trabajo y la tasa de éxito de cada ejecución.
Endpoint:
https://data.oxylabs.io/v1/schedules/{id}/runsMétodo:
GETAutenticación:
Basic
Salida
La carga útil de abajo contiene una respuesta de ejemplo /runs del endpoint.
ejecuciones
Una colección de objetos de ejecución que representan instancias de ejecución de una tarea o flujo de trabajo programado.
Arreglo
ejecuciones:run_id
Un identificador único para la instancia de ejecución específica.
Entero
ejecuciones:trabajos
Una colección de objetos de trabajo que se ejecutaron como parte de esta ejecución.
Arreglo
ejecuciones:success_rate
La proporción de trabajos exitosos respecto al total de trabajos en esta ejecución (varía de 0 a 1).
Número
ejecuciones:trabajos:id
Un identificador único de Oxylabs para el trabajo específico.
Entero
ejecuciones:trabajos:create_status_code
Código de estado HTTP devuelto cuando se creó el trabajo, que indica la aceptación inicial de la solicitud del trabajo.
Entero
ejecuciones:trabajos:result_status
El estado de ejecución del trabajo: pending, done o faulted.
Cadena
ejecuciones:trabajos:created_at
Marca de tiempo en que se creó el trabajo
Cadena
ejecuciones:trabajos:result_created_at
Marca de tiempo en que el trabajo se completó y produjo un resultado
Cadena
Obtener trabajos programados
Resumen
Usa este endpoint para obtener la lista de trabajos de scraping ejecutados como resultado de ejecutar una programación.
Endpoint:
https://data.oxylabs.io/v1/schedules/{id}/jobsMétodo:
GETAutenticación:
Basic
Salida
La carga útil de abajo contiene una respuesta de ejemplo: los IDs de todos los trabajos creados por la programación hasta ahora.
Obtener información de la programación
Resumen
Usa este endpoint para obtener información sobre una programación específica.
Endpoint:
https://data.oxylabs.io/v1/schedules/{id}Método:
GETAutenticación:
Basic
Salida
La carga útil de abajo contiene una respuesta de ejemplo de información de la programación. Antes de la primera ejecución, estadísticas es un objeto vacío.
schedule_id
El ID único de la programación.
Entero
active
¿La programación está activa ahora?
Booleano
items_count
El número de elementos (trabajos) de la programación.
Entero
cron
La expresión cron asociada con la programación.
Cadena
end_time
El momento en el que la programación dejará de repetirse.
Cadena
next_run_at
El momento en el que la programación se ejecutará la próxima vez.
Cadena
links
Una colección de objetos de enlace que define los endpoints de API disponibles relacionados con un recurso de programación.
Arreglo
links:rel
El identificador de relación que explica el propósito del enlace en relación con el recurso principal.
Cadena
links:href
La ruta URL al endpoint de API. Representa la ubicación del recurso a la que se puede acceder.
Cadena
links:method
El método HTTP que se debe usar al acceder a este endpoint.
Cadena
estadísticas
Contiene estadísticas de creación de trabajos y de finalización de trabajos.
Objeto JSON
estadísticas:total_job_count
El número total de trabajos creados por la programación hasta ahora (en todas las ejecuciones).
Entero
estadísticas:job_create_outcomes
Contiene estadísticas de creación de trabajos.
Arreglo JSON
estadísticas:job_create_outcomes:status_code
El código de estado recibido en respuesta a un intento de ejecutar la programación (crear un trabajo de scraping/parsing).
Entero
estadísticas:job_create_outcomes:job_count
El número de intentos de creación de trabajos que resultaron en ese código de estado particular.
Entero
estadísticas:job_create_outcomes:ratio
La proporción entre el número de intentos de creación de trabajos que resultaron en ese intento particular y el número total de intentos de creación de trabajos.
Flotante
stats: job_result_outcomes
Contiene las estadísticas de resultados de los trabajos de scraping/parsing ejecutados como parte de la programación.
Arreglo JSON
stats : job_result_outcomes : status
El estado del trabajo. Valores posibles: pending (el trabajo aún se está procesando), done (el trabajo se ha completado correctamente), faulted (el trabajo ha fallado).
Cadena
job_count
El número de trabajos que resultaron en ese estado particular status.
Entero
stats : job_result_outcomes : ratio
La proporción entre el número de trabajos con ese estado particular y el número total de trabajos creados.
Flotante
Desactivar o reactivar una programación
Resumen
Usa este endpoint para activar o desactivar una programación particular.
Endpoint:
https://data.oxylabs.io/v1/schedules/{id}/stateMétodo:
PUTAutenticación:
Basic
Entrada
Usa este endpoint para detener o reiniciar una programación.
Al establecer active en false, puedes detener la ejecución de una programación particular.
Si estableces active en true, puedes reactivar una programación que se había detenido previamente.
Salida
La respuesta estándar es un cuerpo de respuesta vacío con un 202 código de estado.
Códigos de respuesta de la API
Para los códigos de respuesta de la API, consulta la sección API de la API. Una solicitud de programación con un parámetro faltante o inválido se rechaza con HTTP 422 y un detalle que nombra el campo; un ID de programación desconocido devuelve HTTP 404.
Última actualización
¿Te fue útil?

