Cómo utilizar los archivos de propiedades de las instancias de Dataflow

Cada instancia de Dataflow puede configurar un archivo de propiedades donde los desarrolladores pueden añadir propiedades personalizadas para sus pipelines. Esta guía explica cómo hacer eso.

Persistir el directorio de configuración de Streamsets

Para utilizar esta capacidad, los contenedores de Streamsets gestionados por el Dataflow deben tener un volumen persistente para sus archivos de configuración. Estos archivos están en el directorio /etc/sdc dentro del contenedor.

Crear el archivo de propiedades

Crea un nuevo archivo, por ejemplo, pipelines.properties en el directorio /etc/sdc dentro del contenedor que está configurando. Añade las propiedades que necesites en este archivo, por ejemplo

Ahora hay que enlazar este archivo de propiedades con la configuración de Straemsets. Edita el archivo /etc/sdc/sdc.properties y cambia el valor de la propiedad runtime.conf.location. Si usaste el nombre pipelines.properties, entonces esta propiedad debe tener el siguiente valor:

Cada vez que añades una nueva propiedad al archivo pipelines.properties, tendrás que reiniciar la instancia de streamsets donde se añade.

Usar las propiedades de los pipelines de Dataflow

Después de estos pasos, puedes utilizar la siguiente expresión en cualquier campo de formulario en pipelines para utilizar un valor de propiedad:

Por ejemplo:

Open