Esta funcionalidad permite gestionar, mediante un usuario administrador, la posibilidad de que los usuarios creen entidades en diferentes buckets de un S3 externo definido, es decir, desde el propio MinIO de plataforma, como el propio S3 de AWS u otros sistemas compatibles con el protocolo. Será necesario tener un metastore propio para este S3 externo al crear las tablas de presto en el mismo.
Mediante la configuración centralizada se definirá la configuración remota de acceso. Las credenciales utilizadas, deben permitir el listado de buckets, así como la creación de carpetas y ficheros en los mismos.
Con esto dado, un usuario administrador podrá asignar buckets a usuarios, bien por el sistema de compartir propio, bien como recurso de un proyecto. Finalmente, los usuarios que tengan permisos podrán crear nuevas entidades en los diferentes buckets permitiendo contenedores de diferentes capas/áreas de procesamiento de datos, tener un bucket para staging, otro para business warehouse otro para un datamart
Configuración necesaria
Para activar esta funcionalidad, serán necesarios unos pasos previos:
Creación de un nuevo servicio de metastorage apuntando a este sistema S3. Para esta parte se podrá usar la imagen del propio de plataforma para MinIO. Se generará un nuevo servicio que para AWS llamaremos presto-metastore-server-aws. La imagen, en su versión actual:
presto-metastore-server:5.0.0
Y apuntando a AWS con las variables de entorno, además de la URL del servicio
- MINIO_ROOT_USER → con el Access Key
- MINIO_ROOT_PASSWORD → secret key
- MINIO_SERVER_ENDPOINT → endpoint http/https del servicio S3
Con esto tendremos el servicio corriendo y apuntado a AWS
Configurar el sistema S3 en la configuración centralizada de plataforma. Dentro de la configuración Platform el path onesaitplatform/env/externals3
Aunque con la configuración inicial debería estar apuntando, también será necesario revisar que los paths:
onesaitplatform/env/database/prestodb-externals3-catalog → nombre catalog de presto (por defecto externals3)
onesaitplatform/env/database/prestodb-externals3-schema → nombre catalog de presto (por defecto default)
Crear un nuevo catalog de presto en plataforma (con el nombre indicado en el paso anterior en onesaitplatform/env/database/prestodb-externals3-catalog) apuntando a metastorage creado previamente (propiedad hive.metastorage.url) con las siguientes propiedades:
