...
Con esto dado, un usuario administrador podrá asignar buckets a usuarios, bien por el sistema de compartir propio, bien como recurso de un proyecto. Finalmente, los usuarios que tengan permisos podrán crear nuevas entidades en los diferentes buckets permitiendo contenedores de diferentes capas/áreas de procesamiento de datos, tener un bucket para staging, otro para business warehouse otro para un datamart
Configuración necesaria
Para activar esta funcionalidad, serán necesarios unos pasos previos:
Creación de un nuevo servicio de metastorage apuntando a este sistema S3. Para esta parte se podrá usar la imagen del propio de plataforma para MinIO. Se generará un nuevo servicio que para AWS llamaremos presto-metastore-server-aws. La imagen, en su versión actual:
presto-metastore-server:5.0.0
Y apuntando a AWS con las variables de entorno, además de la URL del servicio
- MINIO_ROOT_USER → con el Access Key
- MINIO_ROOT_PASSWORD → secret key
- MINIO_SERVER_ENDPOINT → endpoint http/https del servicio S3
...
Con esto tendremos el servicio corriendo y apuntado a AWS
...
Configurar el sistema S3 en la configuración centralizada de plataforma. Dentro de la configuración Platform el path onesaitplatform/env/externals3
...
Aunque con la configuración inicial debería estar apuntando, también será necesario revisar que los paths:
onesaitplatform/env/database/prestodb-externals3-catalog → nombre catalog de presto (por defecto externals3)
onesaitplatform/env/database/prestodb-externals3-schema → nombre catalog de presto (por defecto default)
Crear un nuevo catalog de presto en plataforma (con el nombre indicado en el paso anterior en onesaitplatform/env/database/prestodb-externals3-catalog) apuntando a metastorage creado previamente
