Actualización Versión Streamsets en DataFlow

En la release 3.0.0 se ha generado una nueva imagen del Dataflow actualizando la versión de Streamsets de la 3.10 a la 3.18.1, que incluye diversas mejoras en los nodos de las librerías propias de Streamsets así como correcciones de bugs.

Se pueden consultar las mejoras desde la versión 3.10 a la 3.18 en el siguiente enlace:

https://streamsets.com/documentation/datacollector/3.18.x/help/datacollector/UserGuide/WhatsNew/WhatsNew_Title.html#concept_hz3_5fk_fy

Esta nueva versión incluye la librería del orquestador que nos permitirá planificar la ejecución de flujos de las instancias de Dataflow que tengamos desplegadas en la plataforma. La librería consta de los siguientes nodos:

• Cron Scheduler: Este nodo de tipo origin genera un registro periódicamente en función de la planificación que se configure. Para esta planificación se utiliza una expresión cron que se puede introducir manualmente o autogenerarla en la UI de configuración del nodo.

• Start Pipelines (origin y processor): Estos nodos permiten iniciar uno o más flujos en paralelo.

• Wait for pipelines Processor: Este nodo de tipo processor espera a que terminen los flujos que recibe como entrada.