For the complete documentation index, see llms.txt. This page is also available as Markdown.

Scheduler

Automatiza trabajos de scraping recurrentes con el Scheduler gratuito en Web Scraper API. Establece la frecuencia con cron, especifica elementos del trabajo y hora de finalización, y supervisa las ejecuciones mediante endpoints dedicados.

Scheduler es una función gratuita de Web Scraper API que te permite automatizar trabajos recurrentes de scraping y parsing creando programaciones.

Mira el videotutorial a continuación para aprender más sobre Scheduler y cómo funciona.

Guía paso a paso para automatizar tus trabajos recurrentes de scraping usando Scheduler

Recomendamos usar Scheduler junto con la Subir a Cloud Storage función. De esta manera, puedes configurar tu programación y recibir actualizaciones periódicas de datos en tu almacenamiento sin intentar obtener resultados de nuestro sistema.

Inicio rápido

Al crear una nueva programación, sigue los simples pasos a continuación.

  1. Indícanos con qué frecuencia debemos repetir los trabajos enviando una expresión cron;

  2. Danos un conjunto de parámetros de trabajo que debemos ejecutar en los momentos programados;

  3. Avísanos cuándo detenernos enviando una hora de finalización.

Ver aquí para encontrar un ejemplo de código para enviar una nueva programación.

NOTA: También puedes descargar e importar esta colección de Postman para probar todos nuestros endpoints de Scheduler. ¿Eres nuevo en Postman? Aprende más sobre esta herramienta aquí.

Endpoints

Scheduler tiene varios endpoints que puedes usar para controlar el servicio:

Crear una nueva programación

Resumen

Usa este endpoint para iniciar una nueva programación.

  • Endpoint: https://data.oxylabs.io/v1/schedules

  • Método: POST

  • Autenticación: Basic

  • Encabezados de la solicitud: Content-Type: application/json

Entrada

Parámetro
Descripción
Valor predeterminado

cron

Expresión cron de programación. Determina con qué frecuencia se ejecutará la programación enviada. Leer más aquí y aquí.

-

elementos

Lista de conjuntos de parámetros de trabajo de Scraper API que deben ejecutarse como parte de la programación.

-

end_time

La hora en la que la programación debe dejar de ejecutarse. NB: la hora de finalización es inclusiva.

-

- parámetro requerido

NOTA: Para obtener orientación sobre cómo preparar conjuntos de parámetros de trabajo para la elementos parte de la carga útil de Scheduler, consulta la página de documentación del scraper específico que quieras usar (p. ej., Google, Amazon, etc.).

La carga útil de abajo hará que Scheduler ejecute dos trabajos a las 03:00 los lunes hasta end_time (inclusive).

Salida

La respuesta a continuación confirma que la programación se creó correctamente. Incluye items_count (el número de conjuntos de parámetros de trabajo que enviaste), la hora de la primera ejecución y enlaces a los ejecuciones y trabajos endpoints de la nueva programación.

Obtener todas las programaciones

Resumen

Usa este endpoint para obtener la lista de todas las programaciones asociadas con tu cuenta de usuario.

  • Endpoint: https://data.oxylabs.io/v1/schedules

  • Método: GET

  • Autenticación: Basic

Salida

Este endpoint devuelve la lista de todos los IDs de programación asociados con la cuenta de usuario que hace la solicitud.

Consulta la respuesta de ejemplo a continuación. Los IDs de programación se devuelven como cadenas.

Obtener información de ejecuciones

Resumen

Usa este endpoint para obtener información sobre una lista de todas las ejecuciones de una programación, con los metadatos de cada trabajo y la tasa de éxito de cada ejecución.

  • Endpoint: https://data.oxylabs.io/v1/schedules/{id}/runs

  • Método: GET

  • Autenticación: Basic

Salida

La carga útil de abajo contiene una respuesta de ejemplo /runs del endpoint.

Clave
Descripción
Tipo

ejecuciones

Una colección de objetos de ejecución que representan instancias de ejecución de una tarea o flujo de trabajo programado.

Arreglo

ejecuciones:run_id

Un identificador único para la instancia de ejecución específica.

Entero

ejecuciones:trabajos

Una colección de objetos de trabajo que se ejecutaron como parte de esta ejecución.

Arreglo

ejecuciones:success_rate

La proporción de trabajos exitosos respecto al total de trabajos en esta ejecución (varía de 0 a 1).

Número

ejecuciones:trabajos:id

Un identificador único de Oxylabs para el trabajo específico.

Entero

ejecuciones:trabajos:create_status_code

Código de estado HTTP devuelto cuando se creó el trabajo, que indica la aceptación inicial de la solicitud del trabajo.

Entero

ejecuciones:trabajos:result_status

El estado de ejecución del trabajo: pending, done o faulted.

Cadena

ejecuciones:trabajos:created_at

Marca de tiempo en que se creó el trabajo

Cadena

ejecuciones:trabajos:result_created_at

Marca de tiempo en que el trabajo se completó y produjo un resultado

Cadena

Obtener trabajos programados

Resumen

Usa este endpoint para obtener la lista de trabajos de scraping ejecutados como resultado de ejecutar una programación.

  • Endpoint: https://data.oxylabs.io/v1/schedules/{id}/jobs

  • Método: GET

  • Autenticación: Basic

Salida

La carga útil de abajo contiene una respuesta de ejemplo: los IDs de todos los trabajos creados por la programación hasta ahora.

Obtener información de la programación

Resumen

Usa este endpoint para obtener información sobre una programación específica.

  • Endpoint: https://data.oxylabs.io/v1/schedules/{id}

  • Método: GET

  • Autenticación: Basic

Salida

La carga útil de abajo contiene una respuesta de ejemplo de información de la programación. Antes de la primera ejecución, estadísticas es un objeto vacío.

Clave
Descripción
Tipo

schedule_id

El ID único de la programación.

Entero

active

¿La programación está activa ahora?

Booleano

items_count

El número de elementos (trabajos) de la programación.

Entero

cron

La expresión cron asociada con la programación.

Cadena

end_time

El momento en el que la programación dejará de repetirse.

Cadena

next_run_at

El momento en el que la programación se ejecutará la próxima vez.

Cadena

links

Una colección de objetos de enlace que define los endpoints de API disponibles relacionados con un recurso de programación.

Arreglo

links:rel

El identificador de relación que explica el propósito del enlace en relación con el recurso principal.

Cadena

links:href

La ruta URL al endpoint de API. Representa la ubicación del recurso a la que se puede acceder.

Cadena

links:method

El método HTTP que se debe usar al acceder a este endpoint.

Cadena

estadísticas

Contiene estadísticas de creación de trabajos y de finalización de trabajos.

Objeto JSON

estadísticas:total_job_count

El número total de trabajos creados por la programación hasta ahora (en todas las ejecuciones).

Entero

estadísticas:job_create_outcomes

Contiene estadísticas de creación de trabajos.

Arreglo JSON

estadísticas:job_create_outcomes:status_code

El código de estado recibido en respuesta a un intento de ejecutar la programación (crear un trabajo de scraping/parsing).

Entero

estadísticas:job_create_outcomes:job_count

El número de intentos de creación de trabajos que resultaron en ese código de estado particular.

Entero

estadísticas:job_create_outcomes:ratio

La proporción entre el número de intentos de creación de trabajos que resultaron en ese intento particular y el número total de intentos de creación de trabajos.

Flotante

stats: job_result_outcomes

Contiene las estadísticas de resultados de los trabajos de scraping/parsing ejecutados como parte de la programación.

Arreglo JSON

stats : job_result_outcomes : status

El estado del trabajo. Valores posibles: pending (el trabajo aún se está procesando), done (el trabajo se ha completado correctamente), faulted (el trabajo ha fallado).

Cadena

job_count

El número de trabajos que resultaron en ese estado particular status.

Entero

stats : job_result_outcomes : ratio

La proporción entre el número de trabajos con ese estado particular y el número total de trabajos creados.

Flotante

Desactivar o reactivar una programación

Resumen

Usa este endpoint para activar o desactivar una programación particular.

  • Endpoint: https://data.oxylabs.io/v1/schedules/{id}/state

  • Método: PUT

  • Autenticación: Basic

Entrada

Usa este endpoint para detener o reiniciar una programación.

Al establecer active en false, puedes detener la ejecución de una programación particular.

Si estableces active en true, puedes reactivar una programación que se había detenido previamente.

Salida

La respuesta estándar es un cuerpo de respuesta vacío con un 202 código de estado.

Códigos de respuesta de la API

Para los códigos de respuesta de la API, consulta la sección API de la API. Una solicitud de programación con un parámetro faltante o inválido se rechaza con HTTP 422 y un detalle que nombra el campo; un ID de programación desconocido devuelve HTTP 404.

Última actualización

¿Te fue útil?