Mejoras en DataFlow
- Onesait Platform
Disponible desde Release 6.1.0
Introducción
Hasta ahora, todo lo relacionado con DataFlow se ha ido realizando con usuarios internos de Dataflow Streamsets Data Collector.
A partir de la versión 6.1.0 hemos implementado el SSO con DataFlow, de tal manera que a nivel de Streamsets, serán los mismos usuarios de Plataforma los que registren todas las operaciones realizadas, en vez de hacerlo con usuarios propios de la aplicación.
Esto nos permite entre otras cosas, tener un mayor control de quién ejecuta qué.
Por ejemplo, podemos ver tanto en los logs como en le histórico de ejecuciones quién ejecuta cada proceso:
De cara al usuario final de Onesait Platform, este cambio es totalmente transparente. Para el usuario, el funcionamiento del módulo DataFlow y el desarrollo y ejecución de los pipelines será idéntico a como ha sido hasta ahora.
Configuración
De cara a los despliegues de Plataforma con DataFlow, la configuración cambia ligeramente.
Para facilitar la configuración de DataFlow, se han añadido las siguientes propiedades al fichero estándar de configuración /etc/sdc/sdc.properties:
onesaitplatform.im.enabled=true
dpm.app.security.path=controlpanel/streamsets/auth
onesaitplatform.im.base.url=http://controlpanelservice:18000
onesaitplatform.controlpanel.api.base=http://controlpanelservice:18000
onesaitplatform.acl.get.url=controlpanel/api/dataflows/pipelines
onesaitplatform.admin.user.token=xxxxxxxxxxPropiedad | Uso |
|---|---|
| Activa el uso de SSO. En despliegues de la versión 6.1.0 y posteriores es obligatorio que sea “true” |
| Url de acceso al servicio de seguridad de Plataforma. En concreto es la ULR de acceso interno al ControlPanel |
| Url de acceso al servicios intermedios necesarios para DataFlow (ACLs principalmente). En concreto es la ULR de acceso interno al ControlPanel |
| Path para acceso al servicio de validación de ACLs. El valor por defecto no cambia |
| Token APPI Key de un usuario administrador de Plataforma. Este dato cambia en cada instalación. |
Esta es es la configuración por defecto, que funciona en todas las instalaciones habituales. La única propiedad que hay que cambiar en cada instalación es “onesaitplatform.admin.user.token“.
Próximos pasos
Esta mejora nos permitirá en un futuro configurar los nodos de Onesait Platform (orígenes, destinos y processors) para poder hacer operaciones internas dependientes de usuario.