...
Create a new metastorage service in the CaaS configured for this S3 repository. It’s possible to use the same MinIO Presto Metastorage image of the plataform. It will be Creación de un nuevo servicio de metastorage apuntando a este sistema S3. Para esta parte se podrá usar la imagen del propio de plataforma para MinIO. Se generará un nuevo servicio que para AWS llamaremos In this tutorial, we’ll create a new service called presto-metastore-server-aws. La imagen, en su versión actualThe current version of the image is:
presto-metastore-server:5.0.0
Y apuntando a AWS con las variables de entorno, además de la URL del servicioAnd by setting the enviroment vars to AWS and the service URL
- MINIO_ROOT_USER → con el with the Access Key
- MINIO_ROOT_PASSWORD → secret key
- MINIO_SERVER_ENDPOINT → endpoint http/https del servicio of S3 service
...
Con esto tendremos el servicio corriendo y apuntado a This will result in the service up and running for AWS
...
Configurar el sistema S3 en la configuración centralizada de plataforma. Dentro de la configuración Platform el path Configure the S3 system in centralized configuration of the platform. In Platform configuration setting set the path in onesaitplatform/env/externals3 property
...
Aunque con la configuración inicial debería estar apuntando, también será necesario revisar que los pathsBy default, this settings will be already configured, but it must be them set like this:
onesaitplatform/env/database/prestodb-externals3-catalog → nombre presto catalog de presto name (por defecto externals3 by default)
onesaitplatform/env/database/prestodb-externals3-schema → nombre catalog de presto schema name (por defecto default by default)
Crear un nuevo catalog de presto en plataforma (con el nombre indicado en el paso anterior en Create a new presto catalog in platform (with the same name of the onesaitplatform/env/database/prestodb-externals3-catalog) apuntando a metastorage creado previamente (propiedad setting) and it must be configured for the previous created metastorage url (hive.metastorage.url) con las siguientes propiedades setting) with the following settings:
...
...
Una vez realizados los pasos anteriores y teniendo configurado correctamente las credenciales para AWS, lo primero será acceder a nuestra consola de AWS:
...
Accederemos a sección de Amazon S3
...
Y daremos a “crear bucket” para acceder al formulario de creación. Dentro del mismo rellenaremos los diferentes campos y crearemos nuestro bucket:
...
Al crear el bucket se nos notificará de la creación del mismo y aparecerá en el listado de buckets
...
Creación del Bucket Virtual asociado en plataforma
A partir de aquí, si vamos a plataforma con un usuario administrador y vamos a la opción Gestión de Buckets Virtuales/Virtual Buckets Management
...
Damos a crear y podremos ver el listado de buckets de AWS
...
Seleccionamos el nuevo bucket creado y rellenamos el resto de campos
...
Al darle a crear, podremos ver el resumen, así como el path completo generado
...
En este punto, será interesante asignar permisos a los usuarios desarrolladores para que puedan crear entidades sobre este nuevo bucket virtual, es decir que puedan crear entidades sobre la carpeta con el path “data/input” en el bucket de AWS onesaitdatamart
...
Creación de la entidad en el Bucket Virtual
Finalmente podremos crear una entidad en este bucket virtual con el usuario al que hemos dado permiso en el paso anterior.
...
Creation of AWS S3 Bucket
After previous steps and with the right credentials of AWS, next step will be access to the AWS console:
...
Then, navigate to the Amazon S3 page
...
And finally, click on “Create bucket“ button in order to access the creation form. Inside that, we’ll fill all the inputs and create our AWS bucket:
...
After that, the system notify us with the creation of the bucket and it’ll apear in the bucket list
...
Asocciated Virtual Bucket creation in plataform
In platform, with an user with administrator role, we’ll navigate to the Virtual Buckets Management section
...
We’ll click on create and we’ll start to fill all the input fields. We’ll also can see all the AWS Buckets in S3 Bucket Name dropdown
...
We’ll select the new created bucket and fill all the input fields
...
After clicking on create button we’ll see the detail and the full generated path
...
In this moment, it’ll be important to authorise to some user in order to use this new Virtual Bucket for entity creation, in the example it’ll be create entities in path “data/input” in thr AWS Bucket onesaitdatamart
...
Entity creation in the Virtual Bucket
Finally, we can create the entity in this Virtual Bucket with the authorised user of the previous step.
When we log in we navigate to the virtual bucket list that show us which bucket are allowed to use. With this user we're not allowed to create, edit or delete Virtual Buckets,
...
In order to create the new entity for this Virtual Bucket, we’ll navigate to the “Create entity in Historical Database“ option:
...