...

Introducción

Onesait Platform propone una arquitectura data centric; es decir, una arquitectura donde los datos son el activo principal y permanente, mientras que las aplicaciones van y vienen. En estas arquitecturas el modelo de datos precede a la implementación de cualquier aplicación dada y será válido mucho después de que se reemplacen.

En la plataforma Plataforma se soporta, a través del concepto de Entidad (también llamada Ontología), este concepto es el que permite aislar a la plataforma Plataforma de las tecnologías de persistencia subyacentes, ofreciendo una capa de abstracción SQL. La información que proviene de la ingesta y procesamiento queda almacenada en el Semantic Data Hub de la plataformaPlataforma que, como hemos dicho, es el motor de persistencia de la plataformaPlataforma.

...

...

Características

Las principales características son:

• Soporta el almacenamiento de la información en diferentes repositorios Stores (actualmente soportados se soporta MongoDB, Bases de datos relacionales, Elasticsearch, Kudu, BigQuery, HIVE, CosmosDB, base de datos de grafos y a nivel de consulta cualquier BD base de datos con driver JDBC), además de permitir consultar siempre consultar en SQL sea cual sea el repositorio subyacente.  

• La Plataforma permite, en función de los requerimientos de cada proyecto (volúmenes de información en tiempo real e histórico, accesos mayoritariamente de lectura o escritura, mayor cantidad de procesos analíticos, tecnologías previamente existentes en los clientes, etc.), seleccionar el motor de persistencia más adecuado, conceptualmente . Conceptualmente se manejan estos conceptos en plataformala Plataforma:

  • Base Datos Tiempo Real de datos en tiempo real (RealTimeDB): está pensada para soportar un gran volumen de inserciones y consultas online de forma muy eficiente. La plataforma Plataforma abstrae de la tecnología subyacente, permitiendo usar BD bases de datos como Mongo, Elastic, Kudu, BD bases de datos relacionales, … etc.

  • Base Datos Histórica y Analítica de datos histórica y de analítica (HistoricalDB): está pensado pensada para almacenar toda la información que ya no forma parte del mundo online (por ejemplo, información de años anteriores que ya no se consulta) y para soportar procesos analíticos que extraen conocimiento de estos datos (algoritmos). La plataforma Plataforma soporta tecnologías como HIVE (con Impala o Presto para consultas online), SAP HANA, BigQuery, Cosmos DB, SparkSQL, … etc.

  • Área de Staging: permite almacenar ficheros en raw y sin procesar por la plataformaPlataforma, para su posterior ingesta. Suele usarse HDFS como almacenamiento, aunque la plataforma Plataforma permite usar otros como GridFS.

  • Base Datos de datos para GIS:  permite el almacenamiento de información geográfica y su posterior consulta y procesamiento, la plataforma . La Plataforma soporta MongoDB, Elastic , y PostGIS entre otras.

• Toda la definición y manejo de estas entidades Entidades se realiza desde el Control Panel de la Plataforma:

  • Listado de Entidades/Ontologías (vistas por Rol Administrador): con niveles de visibilidad, …etc.

...

• Wizard El asistente de Creación creación de Entidad Entidades (Ontología), como se ve la plataforma : la Plataforma ofrece ayudas para crear estas Entidades de forma guiada, permitiendo entre otras opciones cargar un fichero del que la plataforma Plataforma extraerá la información para modelar la entidad Entidad y cargar este fichero, creación paso a paso, conexión con una base de datos relacional:

...

• Creación de la Entidad: cuando creo la entidad puedo creamos la Entidad, vamos a poder darle un nombre, tagearlaetiquetarla, activarla o desactivarla, hacerla pública, asignarle permisos de acceso (quien puede verla, quien puede insertar datos, …etc.), definir una auditoría, … etc.

...

Si

...

seleccionamos la opción de creación paso a paso

...

, vamos a poder ir definiendo los atributos de la Entidad y su tipo (estos tipos los mapea de forma transparente la

...

Plataforma hacia la persistencia seleccionada: HIVE, Mongo, Elastic, BD relacional,

...

etc.).

...

También podemos ver como se puede seleccionar una de las plantillas como base para la creación de mi entidad (esto es opcional) y como se puede seleccionar que un atributo se encripte, en este caso la plataforma almacenará este atributo encriptado en el repositorio seleccionado y permitirá desencriptarlo a la hora de retornarlo.

• Cuando creo se crea la Entidad puede , se va a poder hacer una gestión avanzada de la Entidadmisma:

...

En la que puedo mapear la entidad a un tópico Kafka, indicar si los datos de la entidad se deben borrar automáticamente paso un tiempo o pasarse a la BD histórica e indicar el repositorio sobre el que deseo almacenar la Entidad, en el ejemplo se ven diferentes repositorios, estos repositorios se configuran en función de los módulos de persistencia desplegados.