Introducción

Esta funcionalidad permite gestionar, mediante un usuario administrador, la posibilidad de que los usuarios creen entidades en diferentes buckets de un S3 externo definido, es decir, tanto desde el propio MinIO de plataforma, como el propio S3 de AWS u otros sistemas compatibles con el protocolo. Será necesario tener un metastore propio para este S3 externo al crear las tablas de presto en el mismo.

...

Con esto dado, un usuario administrador podrá asignar buckets a usuarios, bien por el sistema de compartir propio, bien como recurso de un proyecto. Finalmente, los usuarios que tengan permisos podrán crear nuevas entidades en los diferentes buckets permitiendo contenedores de diferentes capas/áreas de procesamiento de datos, tener un bucket para staging, otro para business warehouse otro para un datamart

¿Cómo usarlo?

Configuración necesaria

Para activar esta funcionalidad, serán necesarios unos pasos previos:

...

• Crear un nuevo catalog de presto en plataforma (con el nombre indicado en el paso anterior en onesaitplatform/env/database/prestodb-externals3-catalog) apuntando a metastorage creado previamente (propiedad hive.metastorage.url) con las siguientes propiedades:

...

Creación

...

del Bucket S3 en AWS

Una vez realizados los pasos anteriores y teniendo configurado correctamente las credenciales para AWS, lo primero será acceder a nuestra consola de AWS:

...

Al crear el bucket se nos notificará de la creación del mismo y aparecerá en el listado de buckets

...

Creación del Bucket Virtual asociado en plataforma

A partir de aquí, si vamos a plataforma con un usuario administrador y vamos a la opción Gestión de Buckets Virtuales/Virtual Buckets Management

...

En este punto, será interesante asignar permisos a los usuarios desarrolladores para que puedan crear entidades sobre este nuevo bucket virtual, es decir que puedan crear entidades sobre la carpeta con el path “data/input” en el bucket de AWS onesaitdatamart

...

Creación de la entidad en el Bucket Virtual

En este punto, finalmente, crearemos una entidad en este bucket virtual con el usuario al que hemos dado permiso en el paso anterior.

...

Si navegamos a la consola de AWS, podremos ver como se ha creado el path completo de la nueva entidad

...

Operaciones sobre la Entidad

Podremos insertar datos que aparecerán como nuevos ficheros en el S3 de AWS

...