Habilitador tecnologico para monitorear procesos en Data Stage

Cuando tenemos grandes cadenas de ejecucion, muchas veces nos preguntamos: ¿Cuantos procesos corren en paralelo?, ¿Hay algun cuello de botella (Bottle Neck)?, ¿Tengo tiempos ociosos que valen oro y no los utilzo?, etc, etc, etc.

Con el Director de DataStage podemos visualizar las estadisticas de ejecucion (Tiempos de corrida, comienzo, fin, logs, warnings, status, etc), pero no ese nivel de detalle que se necesita como para aplicar reingenieria de procesos a mis cadenas de ejecucion, cuando estamos sobrepasando las ventanas de tiempo para la entrega de la informacion a nuestros preciados clientes de las distintas areas de negocio. Puede ser que el tope de mi ventana de tiempo sea las 8am y mis procesos ETL terminan a las 11am. En este caso tenemos 3 horas de retraso en la entrega de mis datos al Data Warehouse, por ejemplo.
Con la herramienta DataStage podemos hacer muchas cosas, tales como tomar las estadisticas de ejecucion y aplicarle procesos de Transformacion y generar informacion relevante para los administradores ETL.

Entre la informacion generada puedo mencionar:
- Paralelismo de procesos.
- Cuellos de botella (Bottle neck).
- Tiempos 'vacios', ociosos o sin uso.

Incluso, esta informacion podemos distribuirla por periodos de tiempo, por ejemplo cada 3 horas, o cada 30 minutos, o cada 15 minutos, intervalos de tiempo tan grandes o pequeños como se deseen.

El resultado seria una matriz indicandonos como se comporto la cadena ETL desde el primer job de Extraccion hasta el ultimo job de Carga de los datos.

Este utilitario ya se ha probado dando excelentes resultados que sirven de insumo para la toma de decisiones.

Mi recomendacion es que usemos la misma herramienta DataStage para generar utilitarios que nos hagan la vida lo mas tranquila y armonica posible, es decir Calidad de Vida en nuestro rol de Administradores y ocuparnos de otros topicos que no se puedan automatizar.