Introducción

Esta sección describe las características de alto nivel de la Plataforma, organizadas por capas lógicas.
El siguiente diagrama explica el flujo lógico de información en la plataforma, desde los productores de datos hasta los consumidores de información, a través de la Plataforma.

La solución de flujos de información navegará a través de la Plataforma, (ingesta y procesamiento, almacenamiento, análisis y publicación) desde los productores de datos hasta los consumidores de información, siguiendo el paradigma de "escuchar, analizar, actuar".
Estos consumidores y productores de información serán tanto sistemas existentes como nuevos componentes verticales que se incorporarán a la solución a través de sencillas integraciones básicas y, al estar basados en la plataforma, garantizarán la capacidad de escalar la solución a lo largo del tiempo de forma robusta y controlada.
El flujo de información en la plataforma se detalla a continuación:

Ingesta y procesamiento

La solución propuesta permite la ingesta de información procedente de fuentes de datos en tiempo real de prácticamente cualquier tipo de naturaleza, desde dispositivos hasta sistemas de gestión. Estas capacidades de captación de información en tiempo real se denominan "Flujo en Tiempo Real" ("Real Time Flow"), e incluyen las capacidades de extracción de información de redes sociales, permitiendo a los usuarios analizar opiniones en tiempo real, haciendo que actúen como "sensores humanos".
Esta información en tiempo real procedente de dispositivos, sistemas y redes sociales accede a la plataforma a través de las pasarelas/gateways (interfaces multiprotocolo) más adecuadas para cada sistema, después se procesa, reaccionando en tiempo real a las reglas configuradas, y finalmente se persiste en la Base de Datos en Tiempo Real (RealTimeDB) del módulo de almacenamiento.
Por otro lado, el resto de la información procedente de fuentes más genéricas ("Batch Flow") que se obtiene mediante procesos de extracción, transformación y carga en modo batch (no en tiempo real) accede a la solución a través del módulo de carga masiva de información (ETL).

Almacenamiento

La información procedente de la ingesta y el procesamiento se almacena en el DataHub de la plataforma.
Esta capa semántica se apoya en una serie de repositorios expuestos al resto de capas, que ocultan su infraestructura tecnológica subyacente a los módulos que acceden a su información. A esto lo llamamos el Data Hub Semántico.
De este modo, dependiendo de los requisitos de cada proyecto (volúmenes de información en tiempo real e históricos, accesos mayoritariamente de lectura o escritura, mayor cantidad de procesos analíticos, tecnologías preexistentes en los clientes, etc.), se proporcionará la infraestructura más adecuada. Los repositorios que componen este módulo son los siguientes:

• Base de Datos en Tiempo Real (RealTimeDB): esta base de datos está diseñada para soportar un gran volumen de inserciones y consultas en línea de forma muy eficiente. La plataforma abstrae a los usuarios de la tecnología subyacente, permitiendo el uso de bases de datos documentales como Mongo, bases de datos de series temporales, relacionales, etcétera.

• Base de Datos Histórica y Analítica (HistoricalDB): este almacenamiento está diseñado para almacenar toda la información que ya no forma parte del mundo online (por ejemplo, información de años anteriores que ya no se consulta) y para soportar procesos de analítica que extraigan conocimiento de estos datos (algoritmos).

• Área de almacenamiento (Staging Area): permite almacenar archivos en bruto (raw) que no son procesados por la plataforma, para su posterior ingesta. Normalmente se utiliza HDFS como almacenamiento.

• Base de Datos de Información Geográfica (GIS Data Base): es la base de datos que almacena la información GIS (Sistema de Información Geográfica). Puede ser la misma que RealTimeDB, o se puede utilizar la Base de Datos GIS, dependiendo del caso.

Analítica

Toda la información almacenada en la Plataforma puede ser analizada de forma conjunta con una visión holística, es decir, permitiendo cruzar la información a lo largo del tiempo, entre sistemas verticales e incluso con datos más estáticos que hayan sido previamente ingestados por la Plataforma (información de catastro, renta por barrio, tipología de cada zona, etc.)
Para ello, se dispone de un módulo web llamado Notebooks de Científicos (Scientists Notebooks). Permite a los equipos especializados desarrollar algoritmos y modelos IA/ML desde el entorno web que proporciona la plataforma.
Para los usuarios de perfil no técnico, se dispone de otra herramienta que permite la explotación gráfica de la información. Se trata de la Herramienta de Minería de Datos.
Estos modelos pueden ser publicados de forma sencilla para ser consumidos por otras capas y por sistemas externos.
Además, la plataforma incluye herramientas de explotación de la información, concretamente un completo motor de cuadros de mando que permite la creación visual de cuadros de mando muy potentes.

Publicación

La Plataforma ofrece capacidades para poner a disposición de aplicaciones y verticales toda la información previamente almacenada en la Plataforma.
La plataforma es capaz de publicar la información de diferentes maneras. Destacamos cuatro mecanismos de exposición de la información:

• Api Manager: publicando la información almacenada en el módulo de almacenamiento y los algoritmos en forma de APIs REST que pueden ser gestionadas individualmente y con capacidad de monitorización de su consumo.
  
  

  • El Api Manager permite a la Plataforma interactuar con todo tipo de sistemas y dispositivos a través de los canales digitales más típicos, como la Web, smartphones, tablets y otros sistemas capaces de consumir información a través del protocolo REST.

  • Estas APIs expuestas también pueden ser aseguradas individualmente, limitando el acceso a diferentes usuarios (o grupos de usuarios) a cada una de ellas, o incluso permitiendo la exposición de información pública para ser consumida por cualquier usuario, incluso aquellos no registrados en la Plataforma.

• Publicación/suscripción: permite la integración con diferentes sistemas, que pueden estar suscritos a las ontologías, es decir: Cuando se realizan cambios en la información (inserciones, actualizaciones y borrados), entonces los sistemas integrados con la Plataforma se actualizan automáticamente.
  
  

  • También permite a la Plataforma interactuar con todo tipo de sistemas, invocando servicios de los mismos. La Plataforma puede "pedir" a los diferentes sistemas, con la frecuencia que considere necesaria, que adquieran o compartan información.

• Portal de Datos Abiertos (Open Data): La Plataforma permite configurar la exportación de sus entidades a un Portal de Datos Abiertos.

• Visor Holístico/Gestor del Paisaje Urbano (City Landscape Manager, CLM): este módulo actúa como Visor Holístico de la Plataforma y ofrece, entre otras funcionalidades, los diferentes roles de gestión:
  
  

  • Visualización avanzada de la información de estado.

  • Integración de la información gestionada por la plataforma para correlación, análisis y previsión de comportamientos y eventos.

  • Inteligencia basada en el proceso analítico para anticipar acciones que contribuyan a eliminar o mitigar los efectos de las incidencias no deseadas que se puedan anticipar.

  • Capacidades avanzadas de análisis del sentimiento de la percepción ciudadana respecto a las acciones de la gestión estatal.

Gestión integrada de datos

Con el objetivo de proporcionar una experiencia de gestión holística y multidisciplinar del estado, la plataforma puede ser gestionada desde una única consola web centralizada que proporciona servicios básicos de operación, control, configuración y gestión (gestión de usuarios, accesos, auditoría, seguridad, supervisión y monitorización, ayuda, etc.).
En esta línea, la plataforma cuenta con una interfaz web multidispositivo, personalizable, intuitiva y fácil de usar. El uso de interfaces estandarizadas y una representación estructurada de la información facilitan el rápido aprendizaje de su uso y por tanto la productividad del administrador. También permite la adaptación de su diseño a las necesidades del proyecto, permitiendo el intercambio de archivos CSS para utilizar banners propios o utilizar un código de colores más adecuado y alineado con los utilizados por el estado, de forma que los administradores tengan un look-and-feel similar al que están acostumbrados.
A continuación describiremos los principales elementos de gestión de la consola web centralizada de la Plataforma, que permitirán que la solución crezca tanto en el eje horizontal (más servicios verticales), como en el eje vertical (más servicios horizontales), así como gestionar el crecimiento en número de consumidores y productores (usuarios, sistemas o dispositivos) sobre los servicios existentes.

• Gestión de Ontologías: Habilitar el Gobierno de Datos en la plataforma, es decir, permitir a los administradores gestionar los modelos de información intercambiados entre los verticales, los horizontales y la Plataforma. Disponer de la capacidad de realizar esta gestión online en la consola permite la incorporación progresiva de nuevos servicios verticales y horizontales, modelando previamente la información que enviarán. Disponer de una gestión centralizada de los modelos semánticos de información proporciona un lenguaje único para la comunicación a través de la Plataforma, aunque sean de diferentes dominios y naturalezas.

• Gestión de Productores y Consumidores de información: La consola centralizada de la Plataforma Onesait también permite la configuración del software de los dispositivos conectados a la Plataforma, permitiendo gestionar sus tokens de seguridad. Esto permite actualizar el software interno de los Gateways conectados a la Plataforma y también proporcionar diferentes permisos a los dispositivos nuevos o existentes conectados a la Plataforma. De esta forma, a medida que la solución escala en el tiempo, el operador puede realizar una gestión centralizada de todos los dispositivos desde la propia consola.

• Gestión de reglas en tiempo real: Este elemento de la consola de administración permite la configuración de las reglas de tiempo real que reaccionan de forma periódica o ante la llegada de nuevas ontologías a la Plataforma. Profundizaremos en las reglas en el apartado de Servicio de Analítica de Datos, pero tenga en cuenta que la gestión de estas reglas se realiza también desde la consola centralizada, simplificando así su gestión.

• Gestión de Dispositivos (Activos): En aquellos casos en los que el productor o consumidor de información de la Plataforma es un dispositivo, onesait Platform permite también la gestión de la parte física del sensor, actuador o gateway, es decir, permite realizar un inventario de su marca, modelo, número de serie, etc., incluyendo también su ubicación (variable en el tiempo), a través de su geolocalización en el servicio de georreferenciación.

• Herramientas del administrador: La consola dispone de una sección orientada a apoyar a los administradores en su gestión diaria, proporcionando utilidades de varios tipos: consolas de operación sobre los repositorios de información, validación del formato de la ontología, monitorización del estado de los procesos en ejecución (por ejemplo, procesos de historización de la información, reglas programadas, etc.)

• Gestión de APIs: la consola de onesait Platform también permite gestionar de forma centralizada las APIs que están expuestas al exterior. Esto abarca desde la configuración de las políticas de acceso a dicha API (pública, para determinados usuarios, etc.) hasta la monitorización del uso y ancho de banda consumido por cada una de ellas.

• Gestión de redes sociales: Desde la propia consola también se pueden programar mecanismos de escucha de medios sociales para incorporar esta información a la base de conocimiento de la plataforma. Actualmente, se integran las fuentes de Twitter, Instagram, Facebook e incluso "crawlers" web capaces de "navegar" por las páginas web para extraer información que puede ser altamente importante.

• Gestión de informes: Gestión de las plantillas de Jasper Reports que se utilizarán para la impresión de informes en la Plataforma.

• Utilidades de visualización: Permite la creación de cuadros de mando directamente desde la consola web mediante la configuración de una serie de "widgets" que se ordenan y estructuran desde la propia interfaz web.

• Gestión de algoritmos de Analytics: La consola también centraliza los algoritmos desplegados en la Plataforma y creados dentro del Servicio de Análisis de Datos. La consola web actúa como interfaz para el desarrollo de estos algoritmos y permite el almacenamiento centralizado, y por tanto posibilita la compartición del algoritmo con otros usuarios permitiendo el trabajo colaborativo en los mismos.

• Administración: Por último, la Plataforma incluye las funciones habituales de alta, baja, modificación y consulta de usuarios y gestión de sus permisos de acceso a la información de la Plataforma: También incluye capacidades de gestión más potentes, como Conexiones (clientes conectados a la Plataforma en tiempo real), monitorización del tamaño de la ontología y gestión de las operaciones de integración con servicios externos (codificación de la integración, configuración de la visibilidad a los usuarios, etc.).

Configuración y Gobierno

Los servicios de configuración de la Plataforma, además de ser accesibles para su gestión desde la consola web ya construida, permitiendo así su uso inmediato tras la implantación, también están expuestos como APIs REST, permitiendo su consumo desde otros sistemas existentes, posibilitando tanto la consulta de información como su manejo (modificar o crear nuevas configuraciones) desde sistemas existentes o incluidos en el roadmap futuro.
Poder asegurar desde el inicio del proyecto que se dispone de una Plataforma con capacidades de gestión transversales y sencillas, redundará en una minimización de los tiempos de implantación y en un funcionamiento ordenado y ágil de la solución.

El Panel de Control de la Plataforma es una completa consola web que permite una gestión visual de los elementos de la plataforma a través de una interfaz basada en la web. Toda esta configuración se almacena en una base de datos de configuración (ConfigDB). Dentro de su funcionalidad añade:

• Panel de control de desarrollo: integra todas las herramientas de la plataforma que el desarrollador utilizará para crear aplicaciones, incluyendo ontologías de creación, reglas, paneles, asignación de seguridad, etc.

• DevOps & Deploy: esta consola permite configurar las herramientas para la integración continua de la plataforma, así como para implementar las instancias de la plataforma y los componentes adicionales que pueda requerir una solución.

• Seguridad: permite configurar todos los aspectos de seguridad de la solución, como el repositorio de usuarios (LDAP, la propia plataforma), y definir y gestionar usuarios y roles, etc.

• Gestión de dispositivos: permite gestionar y operar los dispositivos de las soluciones IoT.

• Monitorización: ayuda a monitorizar la plataforma y las soluciones a través de KPIs, alertas, etc.

La Consola Web de Gestión de la Plataforma onesait está construida con diversas capacidades que son prácticamente out-of-the-box, como la accesibilidad, usabilidad, multi-idioma, etcétera, facilitando la máxima gestión de los operadores de la Plataforma.
Veamos algunas de sus capacidades:

• Administración de los conceptos gestionados por la plataforma desde una UI Web:

Open

• Modelado de Entidades:

Open

• Gestión de Configuraciones:

• Gestión de identidad:

• Despliegue de módulos de la plataforma:

• Monitorización del estado global de la plataforma:

• Configuración visual y ejecución de ingesta:

• Creación y publicación de APIs REST de forma sencilla y guiada:

• Creación visual de cuadros de mando con drill-down:

• Desarrollo de modelos analíticos desde el entorno web para científicos de datos: