Diseño de procesos ETL con mapas mentales

En este post quiero compartir un método que llevo usando desde hace un cierto tiempo para representar procesos ETL de una forma muy gráfica. Este método consiste básicamente en representar todos los elementos y pasos que componen un ETL mediante un mapa mental. Para crear estos mapas mentales utilizo un programa gratuito en nube llamado MindMup 2.0.

Procesos ETL

Antes de continuar con la explicación de este método cabe hacer una pausa y recordar qué es un proceso ETL.

Un proceso ETL son todas aquellas operaciones que consisten en: extraer datos de un fuente de datos; transformar estos datos para que sean homogéneos y relevantes y, por último, cargarlos en un almacén de datos comúnmente llamado data warehouse. 

Mapas mentales como herramienta de diseño de ETLs

En este blog ya hablamos de los mapas mentales como herramientas nemotécnicas para extraer y memorizar información descomponiendo todos los conceptos relacionados con una idea central.

Ahora bien, me he dado cuenta que resulta de gran utilidad utilizar los programas de diseño de mapas mentales para esquematizar los procesos de extracción, transformación y carga de datos que hay detrás de un proyecto de business intelligence.

Como una imagen vale más que mil palabras, seguidamente adjunto la representación esquematizada de uno de los procesos ETL que se usaron para crear el cuadro de mando del Hospital Santa Elena. En concreto estamos hablando del ETL que da información del estado de la plantilla y su variación.

Cada color es una función y cada flecha una relación

A primera vista este esquema/mapa mental puede resultarnos un tanto confuso. Pero esto es así porque no estamos familiarizados con su lógica visual. A continuación expongo la función de los dos elementos que componen el esquema.

• Nodo: es un objeto informático que ejecuta una acción con respecto a un conjunto de datos. Dependiendo al color que tengo esta acción será de un tipo o de otra. En este caso:
  • Nodo azul claro: es una tabla que almacena datos.
  • Nodo azul oscuro: es una consulta que obtiene información parametrizada de una tabla o consulta.
  • Nodo rosa: es la base de datos Access donde se almacenan todos los objetos.
  • Nodo amarillo claro: es una macro que ejecuta varias consultas de forma secuencial.
  • Nodo amarillo fuerte: es el informe de powerbi donde acaban todos los datos para representar nuestro cuadro de mando.
• Flechas: indican las relaciones que se producen entre los objetos. La dirección de las flechas nos indica una relación causa-efecto de un objeto respecto a otro. Por ejemplo, la macro “ACTUALIZAR PLANTILLA MES” que obtiene la información de las consultas “01B ALTAS…” y “01ª BAJAS…” genera la tabla “PLANTILLA H SANTA ELENA”.

Conclusiones

Dejar esquematizado un proceso ETL en un mapa mental nos puede ser útil por los siguientes motivos:

1. Para tener guardados la composición y el funcionamiento del proceso ETL del cual se sustenta nuestro proyecto de bussines intelligence. De esta forma, no tenemos que acordarnos de todo lo que hay detrás de cada dashboard ya que, cuando lo necesitemos podemos consultarlo en el mapa mental.
2. Para analizar el proceso ETL una vez se ha construido o mientras lo vamos haciendo. Con los mapas mentales podemos ver claramente si alguna acción es redundante, si es demasiado complejo el conjunto de acciones y se puede simplificar e identificar el camino crítico, es decir, aquellos objetos que en el caso que fallen pondría en peligro el conjunto de acciones del ETL.

A modo de ejemplo podemos analizar nuestro mapa mental de los datos de plantilla del Hospital Santa Elena. En él podemos identificar

• El camino crítico: Tablas de ALTAS y BAJAS de los diferentes colectivos => Tabla de Access PLANTILLA H SANTA ELENA => consultas de plantilla y variación de plantilla
• Los componentes del sistema de business intelligence:
  • Fuente de datos: Tablas de ALTAS y BAJAS de los diferentes colectivos.
  • Data Warehouse: Es la base de datos Access donde están ubicados todos los objetos.
  • Procesos ETL: Conjunto de objetos y sus relaciones.
  • Dashboard: Cuadro de Mando H. Santa Elena.

Tras el análisis del mapa mental podríamos concluir que es posible y recomendable disminuir el número de fuentes de datos. Es decir, en lugar de disponer de tantas tablas como colectivos existen en el hospital podríamos solicitar una tabla agregada de altas y de bajas de todos los colectivos.