Impala Entidades: HIVE + Impala Storage para Entidades
- DevPortal Editor (Unlicensed)
- Onesait Platform
La plataforma permite conectarse a HIVE o a Impala y a partir de una tabla generar la ontología que la representa (recordemos que la ontología representa la abstracción del mecanismo de persistencia de modo que me independiza del acceso dándome un interfaz SQL sea cual sea la BD, devolviéndome JSON sea cual sea la base de datos y dándome seguridad y auditoría).
Para eso desde el Control Panel iré a la opción Crear Ontología y desde allí seleccionaré:
Tras esto seleccionaré la conexión JDBC que me aplique (bien HIVE bien Impala).
Si no existe conexión y tengo los datos de acceso puedo crearla desde
Una vez seleccionada la conexión aparecerá un listado con las Tablas existentes:
Y al seleccionar una se mapearán las columnas de la tabla y se generará el JSON-Schema que representa la ontologia:
Tras esto, completaremos completar la definición de la ontología (al menos la parte de meta-inf y descripción), podemos incluso modificar el nombre de la ontología y finalmente pincharemos en New.
Tras esto ya tenemos la ontología que representa mi tabla HIVE/Impala. Esta ontología ya está disponible para el resto de herramientas de Plataforma, bien sea para componer mis dashboards, publicar mis APIS,...
En el ejemplo vemos una consulta en el Query Tool. La plataforma usa como motor de consulta Impala, lo que permite acceso online a tablas con millones de registros:
En escenarios Big Data es típico acceder a las tablas HIVE/Impala directamente desde Spark.
El Notebook de Plataforma permite hacerlo:
Luego al estar inferida una tabla como Ontología se pueden ver los datos directamente de todas las operaciones que se hagan sobre la tabla (NOTA: en Impala es necesario lanzar el comando invalidate metadata).