¿Cómo planificar y lanzar un pipeline desde DataFlow?
- doc_enterprise
Analytics
En este tutarial se va a explicar cómo hacer una planificación de arranque de un pipeline.
Para ello, una vez dentro de un pipeline nuevo en blanco, empezaremos añadiendo el origen “Cron Scheduler”:
En el nodo, en la pestaña “Cron” seleccionamos la planificación deseada, por ejemplo, en este caso cada hora a las y 15 minutos.
A continuación buscamos el nodo processor “Start Pipelines“ y lo añadimos al flujo:
En este nodo iremos rellenando los datos de configuración por pestaña:
Pipeline:
Task Name: Nombre que le demos a la planificaciónl. Tiene que ser distinto del resto de planificaciones creadas
Pipelines: Aquí se pueden dar de alta tantos pipelines como se quiera. Para cada uno de ellos tendremos que indicar:
Pipeline ID: Nombre del pipeline a ejecutar
Runtime Parameters. En el caso de que los tenga definidos y queramos sobrescribirlos, se puede pasar un mapa de parámetros para la ejecución del pipeline seleccionado en el campo anterior.
Reset Origin: Si se marca, el offset se reseteará al marcado por defecto. Esto es útil si, por ejemplo, cada ejecución tiene que leer todos los datos de origen.
Connection:
User Token: Este campo tiene que contener un token de API (X-OP-APIKEY) válido. El usuario dueño del token debe tener permisos para la ejecución de dicho pipeline.
Esto ejecutará el pipeline seleccionado según la planificación del cron que se haya establecido en el origen.
Solo queda completar el pipeline añadiendo un destino. En este caso, podemos añadir un nodo “Trash” ya que la ejecución se realiza en el pipeline seleccionado y el arranque no produce ningún dato que queramos procesar.