Info general

El 16 de abril de 2021 se ha publicado la Release 3.0.0 de la Onesait Platform (versión JailBreak), siguiendo nuestra política de versiones: Version Policy onesait Cloud Platform).

Puedes seguir nuestro roadmap en Roadmap onesait Platform

A continuación puedes ver las principales funcionalidades de esta release.

Engine

Esta distribución de plataforma da soporte al desarrollo de microservicios y todo tipo de aplicaciones. Para ayudar en este tipo de desarrollos, la plataforma permite desarrollo visual con un enfoque LowCode incorporando una consola web centralizada que soporta la administración, configuración, desarrollo y despliegue.

En esta versión hemos incorporado importantes características:

• Nueva UX para el Control Panel tras meses de duro trabajo en esta versión veréis un nuevo diseño gráfico del Control Panel de Plataforma adaptado a la nueva versión 3 del sistema de diseño ODS (Onesait Design System).

Open

• Nuevo Tipo de Ontología Ontología No Persistente o de Control: Hasta ahora el concepto de Ontología ha representado a las Entidades gestionadas por Plataforma y persistidas en uno de los repositorios de plataforma, aunque en muchos escenarios se usan las ontologías como “Ontologías de Control” que nos permiten desencadenar procesos como: Lanzamiento de una Regla, Ejecución de un Flow del FlowEngine, Ejecución de un Pipeline del DataFlow, Comunicación con Broker Kafka para inserción y notificación...Para esto hemos creado el concepto de Ontología No Persistente/Ontología de Control, que es un nuevo tipo de ontología que no se persistirá pero si desencadenará todos los procesos que pueden lanzarse en plataforma tras inserción de una ontología. Puede crearse desde la opción Advanced Settings a la hora de crear una ontología:

• Log centralizado integrado en Control Panel: en la anterior release integramos Graylog como solución para centralizar los logs de plataforma y a su vez ser usada por las soluciones construidas sobre plataforma. En esta versión hemos integrado la potente UI de Graylog con el Control Panel permitiendo el acceso a los usuarios administradores. También se ha disponibilizado su API REST como podéis ver aquí.

Open

• Integración Keycloak como Identity Manager Advanced: aunque esta funcionalidad se completó en Q4 hemos incluido funcionalidades que nos solicitasteis. Plataforma incluye un Identity Manager construido sobre Spring Cloud Security que cubre los casos de uso de seguridad típicos como la autenticación, autorización, realms, plugins,....Hemos integrado Keycloak como un Identity Manager alternativo para escenarios avanzados, mapeando los realms de Keycloak con los verticales de plataforma, los Keycloak Clients con los Realms de Plataforma y como Provider por defecto la ConfigDB de plataforma (aunque puede utilizarse también LDAP).

• Broker Kafka de Plataforma actualizado a Kafka Confluent Version 6.1.1: se ha actualizado la versión de Kafka,  Zookeeper y KSQL (ahora KsqlDB) al Confluent versión 6.1.1, con esta actualización pasamos a tener la versión 2.7.0 de Kafka. 

• Ajustes al despliegue de microservicios sobre Onesait DevOps: se ha ajustado el despliegue de microservicios sobre Onesait DevOps para que el usuario de esta funcionalidad no necesite configurar más que lo imprescindible. Podéis echar un ojo al uso de esta funcionalidad aquí

• Nuevas opciones de configuración en integración con Elasticsearch:   Se han aumentado las posibilidades de configuración de ontologías definidas sobre Elasticsearch permitiendo la configuración de Shards y Réplicas para cada ontología así como la configuración de Templates (para almacenar datos de auditoría, logs, timeseries, etc. Elasticsearch recomienda crear varios índices por bloques temporales, especialmente, si los datos son más o menos homogéneos por dicho bloque temporal. Por ejemplo, crear un índice por mes, o por semana, o por día, etc.). Más detalle en esta entrada.

Intelligence

Esta distribución de la plataforma da soporte al desarrollo de sistemas que usan las capacidades de Inteligencia de plataforma, bien sea con sus capacidades IA, de ingesta desde diferentes fuentes, analítica, visualización,...

Y en este trimestre hemos trabajado en esto:

• Nueva Herramienta para Linaje del Dato: ampliando nuestras capacidades de Gobierno del Dato (y lo que queda por llegar!) hemos incorporado esta funcionalidad que consultar las relaciones de un elemento (Ontología, Dashboard…) con todos los demás elementos de la Plataforma, lo que ayudará a dar una visión global de la repercusión que puede tener un cambio en alguno de los elementos del linaje. Se ha creado una nueva opción de menú DATA GOVERNANCE con esta opción:

• Nueva Versión del Rules Engine: se han ampliado las funcionalidades del Rules Engine conforme las solicitudes que nos habéis hecho llegar.

• Nueva Versión de la librería cliente Python se ha publicado una nueva versión de la librería cliente Python (la 1.4) que incluye diversas novedades, entre ellas la clase BaseModelService que da soporte para entrenar, reentrenar, desplegar y hacer inferencia de modelos de forma sencilla, podéis ver un ejemplo de su uso aquí.

• Wrapper para crear Modelos sobre Notebooks:  En esta versión de plataforma, en colaboración con el equipo de Onesait Data, se han incluido mejoras en el cliente Python permitiendo entre otras funcionalidades almacenar/recuperar de forma transparente los archivos de los modelos generados por los entrenamientos en el File Repository, usar datos de ontologías como input de datos de los modelos, gestión de una ontología de metainformación de los diferentes modelos asociados y la recuperación del modelo más preciso. Además de esto se ha preparado un completo tutorial sobre su uso en Notebooks para creación de Modelos como podéis ver en esta guía.

• Gadgets Favoritos en Dashboards: esta funcionalidad permite que cada usuario pueda asignar gadgets favoritos de modo que luego podrá añadirlos rápidamente a sus dashboards.

• Actualización del componente que da soporte al DataFlow: en esta release se ha actualizado la versión de Streamsets de la 3.10 a la 3.18.1, que incluye diversas mejoras en los nodos de las librerías propias de Streamsets, entre ellas  

  Esta nueva versión incluye la librería del orquestador que nos permitirá planificar la ejecución de flujos de las instancias de Dataflow que tengamos desplegadas en la plataforma, incluyen el Cron Scheduler:

• Mejoras en la creación de ontologías sobre las bases de datos externas  hasta esta release, sólo era posible generar ontologías desde bases de datos externas que vinieran dadas directamente con la conexión (y, por tanto, obligando a incluir la base de datos y/o el esquema, según la tipología de la base de datos, en la url de conexión). Con la nueva versión de plataforma, es posible elegir la base de datos y/o el esquema (según aplique en cada base de datos) antes de seleccionar la tabla.

Things

Esta distribución de la plataforma da soporte al desarrollo de sistemas IoT, tanto en el ámbito Cloud como Edge.

En este trimestre hemos avanzado en:

• Dashboard Broker: Integrado con Prometheus y Grafana, la versión de IoT / Edge HUB incluida en esta versión ahora proporciona una herramienta para monitorear el IoT / Edge Broker basado en EQMX.v.4.0. Con un conjunto completo de KPIs ya empaquetados, es posible ver fácilmente parámetros como: número de clientes conectados, número de mensajes intercambiados, concurrencia actual de recepción de mensajes por segundo, carga de los nodos del clúster Erlang, etc.

• Asistente de creación de proyectos: Ahora es posible crear proyectos IoT/Edge Computing en Things a través de un asistente intuitivo. Le guiará para la asociación y el registro de dispositivos, la conexión de registros de contenedores, la edición de comandos operativos de dispositivos de borde, la fijación de repositorios Gitlab / Gitea para la configuración y la base de código.

• Mejoras en Landscape: en esta nueva versión se ha mejorado la visibilidad de la disponibilidad del panorama de dispositivos, proporcionando información sobre los canales de control y de comunicación empresarial, la información device-2Cloud y Cloud-2-Device, se ha incluido la identificación única (urna) siguiendo el estándar RFC-8141, también se proporcionan QRs (url para el acceso a la información de los dispositivos) y se ha añadido un conjunto de consejos de contexto que proporcionan ayuda en el manejo de los dispositivos.
  
  

• Conectores para DataFlow y FlowEngine: Se ha añadido la función de definir conectores bidireccionales a Data Flow y FlowEngine. Esto permite la ingesta automática de las mediciones de los dispositivos y el enrutamiento de comandos utilizando modelos de ontologías simples. Los transportes de estos dos conectores se realizan de forma segura a través de TLS> = 1.2 y secretos de usuario de algoritmos criptográficos configurables.

• Docker Registry.v.2 Browser: ahora explora el registro de imágenes integrado con IoT / Edge HUB para los contenedores de borde es posible, comprobar las versiones, tamaños, analizar las diferentes capas y seleccionar automáticamente las etiquetas que se incluirán en sus proyectos de despliegue. Verifique la carga de sus imágenes y el estado de las versiones de forma sencilla.

• KMS-Vault: se ha añadido una sección completamente nueva para la gestión del ciclo de vida de las claves y los secretos. Gracias a este nuevo módulo, es posible generar un gran número de tokens criptográficos, su almacenamiento seguro en HMS (hardware y software) y garantizar el cumplimiento de la normativa en la protección de los activos digitales distribuidos. Things utiliza este módulo para proteger los dispositivos y las comunicaciones.

DevOps

Dentro de esta línea de trabajo incluimos todas las herramientas, utilidades y capacidades de plataforma que ayudan en el Desarrollo y la Operación. 

• Charts Helm para Onesait Platform CE: Helm permite empaquetar el despliegue de Onesait Platform para ser desplegadas en Kubernetes, permitiendo“aplantillar“ sus ficheros o manifest, tales como Deployment, Service, PersistentVolumeClaim, Ingress, Secret, etc… en plantillas o Templates de Helm y empaquetados en un Chart. En esta versión  hemos liberado el código de un chart de Helm para poder desplegar la Community Edition de Onesait Platform sobre k8s. Podéis encontrar el código en github además de en Artifact HUB:

• Stack para Monitorización avanzada de Plataforma:  otra de las novedades de esta versión, en cuanto a la Operación, es la integración de herramientas de monitorización avanzada de los distintos módulos de la Plataforma (o externos a Plataforma), para ello se ha elegido el stack formado por: Telegraf como agente recolector de métricas de distintas fuentes (Mysql, Mongo, Redis, Apache, Cassandra, etc…), InfluxDB como base de datos TimeSeries encargada de almacenar las métricas enviadas por el agente Telegraf y Grafana, como herramienta de visualización de las métricas de InfluxDB

• Certificación de la Plataforma bajo OpenJDK 15:  otra de las novedades de Plataforma en este primer Q de 2021 es la certificación de la Plataforma sobre OpenJDK 15, bajo demanda y en aquellos entornos que se precise. Esta versión es la implementación Open Source de la versión 15 de Java SE, se ofrece con licencia GNU de código abierto, pero también se ofrece la versión comercial con soporte (GA) desde Septiembre de 2020. 

• Migración del Elasticsearch integrado en Plataforma a OpenDistro for ElasticSearch: la versión gratuita de Elasticsearch que proporciona la empresa Elastic, que es su desarrollador, no tiene muchas funciones básicas que son necesarias para hacer un despliegue en producción. Por ejemplo, no tiene seguridad ni soporte SSL para comunicaciones,... Por ello hemos integrado en plataforma OpenDistro, que es una distribución de Elasticsearch con licencia s Apache 2.0 que sí incluye seguridad, soporte ssl, soporte SQL, además está mantenida por Amazon y es la que versión que usa AWS. 

• Nueva Sección TRAINING en documentación: en esta release hemos creado nueva documentación para las sesiones  TRAINING, se ha creado una formación básica, otra avanzada y otra de operación, que contienen una presentación para guiar la formación y un conjunto de videotutoriales para explicar cada tema:

Comunidad Onesait Platform 

En esta línea de trabajo se contemplan las tareas que llevamos a cabo en relación con la Comunidad de la Plataforma, de la que forma parte la versión Open Source de Onesait Platform, así como de los diferentes canales de comunicación de la Plataforma.

A lo largo de este primer trimestre de 2021, hemos trabajado en:

• Curitiba Smart Hack: hemos participado en la realización de este evento en Brasil, dando apoyo logístico sobre la Plataforma, así como realizando un Workshop formativo de dos horas y media en portugués, al que asistieron +100 participantes:
  
  

  Webcast de la Onesait Platform: este trimestre hemos llevado a cabo dos webcasts:

  • Uno con las novedades de la release 2.3.0 de la Plataforma:
    
    

     

  • Otro sobre la gestión de los Digital Twins en la Onesait Platform:
    
    

     

• Canales de la Comunidad: seguimos creciendo en las redes sociales y en nuestros canales web. A lo largo del trimestre hemos alcanzado los siguientes hitos:
  
  

  • Hemos superado los 1.000 usuarios en nuestro entorno CloudLab de la Onesait Platform, consiguiendo +100 nuevos usuarios en este período.

  • Crecemos en +35 nuevos suscriptores en nuestro canal de YouTube, superando los 130 suscriptores totales, sumando +210 horas de visualización y consiguiendo +12.000 impresiones durante este trimestre.

  • Alcanzamos las 70 clonaciones en GitHub de nuestra versión Community de la Plataforma, con hasta 244 desarrolladores siguiendo el proyecto.

  • Seguimos escribiendo en DZone con dos nuevas publicaciones (Making a Dashboard About COVID-19 in Portugal y Map Viewers: Main Open Source Libraries) y +48.000 lecturas de nuestros artículos.

  • Mantenemos el ritmo de publicación en nuestro Blog, con 49 nuevas entradas y +21.000 lecturas trimestrales.

  • Por último, seguimos creciendo en Twitter, alcanzando los 284 seguidores, con 290 tweets publicados, 145 retweets recibidos y llegando casi a las 52.000 impresiones.

• Actualización del Entorno CloudLab con la versión del último trimestre (la versión 2.3-immortal)