A continuación, se explicará el proceso completo que sigue el nuevo componente para la verificación de procesos en su ejecución.
...
| Table of Contents |
|---|
Introducción
El nuevo asset Verificador de Procesos permite comprobar el funcionamiento de distintos procesos desarrollados sobre la plataforma permitiendo verificar su correcta carga de datos en plataforma.
Ademas Además de ello esto, nos permitira permitirá añadir distintas reglas a estos procesos para un mayor control de los datos insertados, tales como una regla que compruebe la correcta integridad de los datos cargados ( dataExist ), como una que nos permita controlar el nuemero número de registros cargados ( volumetry ).
Cómo funciona
Seguidamente se muestra un diagrama explicativo sobre el funcionamiento de este verificador:
...
Entidad bitácora:
Esta entidad hace referencia a los procesos que deseamos verificar, en ella debemos tener cierta información de esta además de las reglas que deseamos aplicar.
...
process: en este campo se registrará el nombre del proceso.
date: hace referencia al campo del proceso que almacena la fecha de la inserción de información.
granularity: frecuencia de los datos insertados.
temporality: frecuencia con la que se insertan los datos.
day_week: día de la semana en la que se realiza la carga de datos (Lunes = 1, Domingo = 7).
day_month: día del mes en el que se realiza la carga de datos.
monthly_mismatch: diferencia de meses entre la carga de datos y la información que esta referencia.
weekly_mismatch: diferencia de semanas entre la carga de datos y la información que esta referencia.
daily_mismatch: diferencia diaria entre la carga de datos y la información que esta refencia.
comments: comentarios que podemos añadir sobre el proceso para más información.
rules: campo que alberga la definición de las reglas que aplican a cada proceso. Este campo se divide a su vez de la siguiente forma:
type: tipo de regla que aplica para este proceso.
...
tolerance: tolerancia de registros esperados (solo aplica en regla “volumétrica”).
Entidad Registro
...
Esta entidad es en la que dejaremos registro de los procesos y si han superado las distintas reglas que le apliquen.
...
process: nombre del proceso.
date: fecha donde se ha realizado la verificación.
type: tipo de regla que se ha verificado.
detail: información en caso de error en la verificación.
status: registro sobre el estado del proceso para cierta regla(“Passed” o “Failed”).
Flujo principal:
...
Uso del Verificador de procesos
...
Este es el fujo inicial, en el tendremos un “trigger” “trigger” manual que nos permitirá lanzar el proceso cuando nosotros queramos. Para ello deberemos entrar en el nodo “parametrización manual” y cambiar la fecha a la que nosotros deseemos.
...
fecha: fecha de día de hoy.
ont: entidad bitácora de la cual obtendremos la información.
ontLog: entidad registro donde insertaremos la información.
Flujo de ejecución de reglas
...
Este es el flujo en el que se plantea toda la configuración necesaria antes de verificar las distintas reglas de cada proceso
...
Después de separar por reglas entramos a la definición de cada una de ellas en sus respectivos flujos. Podremos añadir cuantas reglas deseemos, inicialmente se incluyen estas dos:
Regla dataExist
En esta regla comprobamos la existencia de datos para la granularidad especificada en el proceso, en caso de no existir datos se dará la regla como “Failed” “Failed” y se dejará reflejado en el campo “detail” “detail” un mensaje explicativo del motivo del error.
En el caso contrario la regla quedara como “Passed”“Passed”.
...
Regla volumetry
Con esta regla se comprueba el volumen de datos registrados para un proceso en específico. El número de registros esperados y la tolerancia (número porcentual) viene dados dentro de la misma regla.
En caso de recibir un numero de registros que este dentro de los esperados se dará la regla como “Passed”“Passed”, pero en caso contrario esta quedará como “Failed” “Failed” y se añadira en el campo “detail” “detail” un mensaje explicativo del fallo.
...
A continuación, mostraremos un ejemplo de la ejecución de este verificador para estos procesos:
Proceso 1:
process: Process1
date: datetime
fromat: yyyy/mm/dd
granularity: daily
temporality: weekly
day_week: 0
day_month: 0
monthly_mismatch: 0
weekly_mismatch: 0
daily_mismatch: 0
rules:
Item 1
type: dataExist
Item 2
type: volumetry
records: 336
tolerance: 20
Proceso 2:
process: Process2
date: datetime
fromat: yyyy/mm/dd
granularity: daily
temporality: weekly
day_week: 0
day_month: 0
monthly_mismatch: 0
weekly_mismatch: 0
daily_mismatch: 0
rules:
Item 1
type: dataExist
Item 2
type: volumetry
records: 1
tolerance: 20
...