Caso de estudio: Integrate (utilizando una estructura de archivos compleja).

El problema

El cliente, una empresa de servicios públicos de envergadura, comenzó un proyecto para crear un data mart alimentado con datos de su archivo principal de clientes. Este archivo fue su sistema heredado principal y contenía información de cada cuenta y su actividad en la región. El acceso a estos datos hasta ahora fue provisto por rutinas especializadas de extracción, pero han probado ser demasiado costosas e inflexibles en permitir las contínuas necesidades de la corporación. Adicionalmente, los datos y reportes producidos por las rutinas de extracción no se llevaban muy bien con los procesos de generación de reportes en producción. Es así que los usos para los que estos datos podían aplicarse resultaban muy limitados.

El archivo maestro de clientes había evolucionado por más de algunas decadas para dar respuesta a las cambiantes necesidades de la organización, resultando en un archivo de gran tamaño y alta complejidad, very complex file (ver la descripción)que guardaba pocas reminiscencias del diseño original.

Algunos de los mayores proveedores de soluciones ETL fueron invitados a hacer sus propuestas, pero en cada caso la solución recomendada para este problema de acceso a datos fue emplear un programa PL/1 de similar complejidad. Debido a razones asociadas al mantenimiento de un programa a medida, el significativo tiempo de implantación y los altos costos cotizados en las propuestas, ninguno de los proveedores prosperó con el proyecto y se procedio a investigar nuevamente buscando mejores alternativas de solución.

La Solución

La tecnología Arbutus fue elegida tras demostrar su habilidad para leer directamente el complejo archivo maestro mencionado, dotando al equipo del proyecto con las herramientas y confianza que necesitaban para llevar a cabo la tarea. La solución Arbutus no sólo pudo realizar el trabajo, sino que lo hizo en una fracción del costo de otras propuestas.

El Proceso

El equipo a cargo del proyecto comenzó una primera etapa de descubrimiento trabajando junto con especialistas en tecnología Arbutus, definiendo y configurando el acceso a los datos. Este paso resultó ser el más importante de todos, ya que el equipo descubrió que no conocía los datos tanto como se pensaba. El archivo estaba repleto de tipos de transacciones no documentadas y situaciones especiales totalmente inesperadas.

Antes de que pudieran cargar el data mart se dieron cuenta de que tenían que comenzar por conocer con mayor profundidad los datos. Es así que crearon un pequeño equipo de proyecto cuya tarea fue descubrir las más relevantes reglas de negocio. Comenzaron creando columnas virtuales y modelos de datos reflejando lo que esperaban encontrar en el archivo; luego iterativamente fueron encontrando las diferencias más significativas, refinando el conocimiento sobre los procesos actuales de negocio y reduciendo las diferencias empleando diversos reportes. Finalmente llegaron a conciliar los sistemas más grandes por debajo del 1% de diferencia. Sin ser un ideal, este resultado era significativamente mejor que el obtenido con todos los esfuerzos hechos anteriormente.

Resultados

Ahora, preparados con un más amplio entendimiento de los datos tuvieron la posiblidad de crear rapidamente las transformaciones apropiadas para encajar la información en el data mart. El proceso punta a punta tomó tres meses, de los cuales casi la totalidad se dedicó a la fase de descubrimiento del proyecto

Una vez terminado, se tomo conciencia de que esté había sido el primer proyecto de data warehousing exitoso.