Patrocinado por:
 
Links Promocionados:
 
      

Creando un Almacen de Datos (Parte I)

  • Agregación de datos

    La clave de los proyectos de Inteligencia analítica de los negocios reside en la calidad, cantidad y la puntualidad de los datos usados por los procesos analíticos.

    Los procesos DTS (Data Tranformatión Services o bien Data Transformation System) actualmente convertido en en la tegnología ETL ( extracción, transformación, carga) son la piedra angular de estos procesos.

    Extracción : Estos procesos recogen datos mediante extracción de los sistemas heterogéneos fuente (diversas fuentes repartidas por la organización a analizar).

    Transformation : Limpiar los datos ( control de campos nulos, repetitivos, incoherentes), los consolidan ( uso de algoritmos de minería de datos), aplican transformaciones (Ej. : campo sexo de una tabla de clientes podría ser hombre, varón o masculino..., Mujer o femenino e  inclusive macho o hembra estos se deberían transformar a unos valores homogéneos unificados).

    Load :  Los cargan en el almacén de los datos (Dataware House) para con ellos , las estructuras de OLAP (proceso analítico en línea), y los procesos analíticos off line ( Forecats  o simulación de escenarios ) nos den unos resultados fiables y inteligibles.

    Existen herramientas unas veces integradas con lo productos de análisis y otras por separado en el mercado :

      Lista de herramientas mas utilizadas (el orden es aleatorio):

  •    Producto

       Versión

       Fabricante

    1.

    Oracle Warehouse Builder (OWB)

    10gR2

    Oracle

    2.

    Data Integrator (BODI)

    11.7

    Business Objects

    3.

    IBM Information Server (Ascential)

    8.0.1

    IBM

    4.

    SAS Data Integration Studio

    3.4

    SAS Institute

    5.

    PowerCenter

    8.1.1

    Informatica

    6.

    Oracle Data Integrator (Sunopsis)

    4.1

    Oracle

    7.

    Data Migrator

    7.6

    Information Builders

    8.

    Integration Services

    2005/9.0

    Microsoft

    9.

    Talend Open Studio

    1.1

    Talend

    10.

    DataFlow

    6

    Group 1 Soft. (Sagent)

    11.

    Business Integrator

    8.12

    Pervasive

    12.

    Transformation Server

    5.4

    DataMirror

    13.

    Transformation Manager

    5.2.2

    ETL Solutions Ltd.

    14.

    Data Manager

    8.2

    Cognos

    15.

    DT/Studio

    3.1

    Embarcadero Techn.

    16.

    ETL4ALL

    4.2

    IKAN

    17.

    DB2 Warehouse Edition

    9.1

    IBM

    18.

    Pentaho Data Integration

    2.4

    Pentaho Corporation

    9 y 18 Open Source

     

    Se les debe pedir a estas herramientas :

    Capacidad de proceso en paralelo y capacidad de crecer según las necesidades, scheduler (programador de procesos), pivotación , depivotación , uso masivo de memoria manejado, particionado de datos, soporte de minería de datos, facilidad de uso, reutilizabilidad, capacidad de debuger, ejecución en tiempo real y bach, integración y conectividad con la mayoría de bases de datos del mercado,  xml, coste razonable al nivel de la solución aportada.

    Las herramientas de este tipo suelen ser de coste alto y a veces se tiende a utilizar rutinas escritas con código en algún lenguaje de programación las cuales la mayorías de los casos no son reutilizables siendo a veces un verdadero galimatías su uso dado que el cambio de las estructuras de datos en nuestra organización nos obligan en la mayoria de los casos a rescribir las mismas , obteniendo a lo largo de la vida útil un sin fin de versiones. teniendo que recurir a algún software de control de versiones, CVS ,...

    Existen por otro lado herramientas de tipo Open Source que nos podrian ayudar en esta labor o al menos en los procesos mas estandares como sería el caso de la utilidades siguentes con un interes especial en Pentaho y Talend :

    Pequel ETL Data Transformation EnginE   http://sourceforge.net/

    Apart Data intregration   http://sourceforge.net/

    Spire   http://sourceforge.net/

    BEE   http://sourceforge.net/

    KETL   http://sourceforge.net/

    openDigger   http://sourceforge.net/

    Pentaho (entorno integrado de BI)   http://sourceforge.net/

    Talend una herramienta puramente ETL con muy buena aceptación     http://www.talend.com

    OpenDQ(TM)- Enterprise data quality built on open source , OpenCDI(TM) framework- Comprehensive customer data integration solution built on an open source platform,OpenMDM(TM)- Master data management solution built on an open source platform http://www.infosolvetech.com/

    Todo ello nos obligara la mayoría de veces a diseñar unos modelos eficaces con los cuales podamos acometer las necesidades referentes a la adaptación de los mismos a nuestra necesidades finales.

    Deberíamos en un primer análisis concretar los objetivos de nuestra agregación de datos, índices ( KPI,s) , tamaños  de campos (diferentes fuentes de datos nos obligaran a determinar por ejemplo el numero de decimales, unidades de tiempo, escenarios geográficos) para poder definir una tabla de hechos (Fact Table) eficaz para nuestro posterior análisis con sus medidas.

    Se entiende en este caso agregación como la totalización de los datos en nuestros paneles de control, informes, cuadros de mando , ... siendo un concepto diferente a la agregación de datos en nuestro almacén que lo definimos en nuestro caso como carga (Load).  

    Una vez diferenciado el concepto de agregación o totalización del de carga de datos, no siendo lo mismo pero estando interrelacionados, podemos empezar a analizar los factores de una agregación, por ejemplo : deberíamos contemplar en nuestra tabla de hechos un campo 'sexo' si pretendemos analizar las ventas de bañadores de una compañía de ropa deportiva pudiendo obtener de este modo una agregación por 'sexo' así mismo podríamos tener una tabla auxiliar de 'temporadas / modelo' y un campo 'modelo' (o bien ambos campos y prescindimos de la tabla auxiliar, si nuestro análisis se va a fundamentar en la estrategia de ventas 'bañadores / temporada', dado que en este caso descargamos el peso del proceso en cuanto a proceso pero cargamos unos datos repetitivos que podemos agrupar en esa tabla auxiliar y utilizar por ejemplo un join) en nuestra tabla de hechos denominada 'ventas diarias', que anteriormente henos cargado con las 'ventas diarias' añadiendo un campo (o medida) denominado 'fecha de venta' , dado que no obligatoriamente podremos agregar dichos datos por meses, aunque volviendo al balaceo de datos si podremos saber los meses que tienen cada temporada utilizando otra tabla auxiliar.

    Visto lo anterior deberemos estudiar el balanceo de datos en nuestra tabla de hechos así como sus KPI,s análisis fundamenta en la fase de carga o agregación de los mismo.

    Podemos tener una potente herramienta ETL pero no nos servirá de nada si anteriormente no hemos analizado y definido nuestro modelo de datos efecazmente.

    Expresiones de interés :

    Agregación : Carga  de datos en nuestro DW .

    Agregación : Totalización de los datos en nuestros resultados de análisis.

    Modelo de datos : definición de la forma, medidas, balanceo, indices y estructuras del DW.

    KPI : Indice llave de control de un proceso o medida.

    Medida / dimensión :característica individual de cada registro de datos en la tabla de hechos

    Fact Table : Tabla de hechos o correlación jerarquizada de los eventos producidos en nuestras medidas.

    Balaceo de datos : Interrelación de los datos en nuestra estructura para la obtención de un rendimiento optimo.

    Particionado de datos : capacidad por la cual podemos tener nuestro DW en varias partes(discos, sistemas, ..) .

    Modelo de extracción : estrategias para la obtención de los datos, procesos, rutinas , scripts que forman dicha extracción.

    Join : Unión de datos de diferentes fuentes en una sentencia SQL

    SQL : Structured Query Lenguaje  (lenguaje de consulta estructurado)

    Mineria de datos : Procesos de búsqueda mediante Scrips, algoritmos (ej.: WEKA (http://www.cs.waikato.ac.nz/~ml/weka/)) , auto aprendizaje estadístico.

    Especial Anterior

    EPM vs BPM vs CPM


    Tecnologias eficientes de ayuda para la Visión, Seguimiento, Presupuestación y Consolidación en un Entorno Empresarial de multiples escenarios

    Enterprise performance management (EPM) (Gerencia de Funcionamiento de la Empresa) también conocida por los nombres de Corporate Performance Management (CPM) (Gerencia del Funcionamiento Corporativo) y (BPM) Business Performance Management (Gerencia de Funcionamiento de Negocio) es un acercamiento estratégico a mejorar funcionamiento de negocio. Gartner Inc. define EPM como, " las metodologías, la métrica, los procesos, y los sistemas usados para supervisar y para manejar el funcionamiento de negocio de una empresa."

    EPM en cortocircuito representa el despliegue estratégico de las soluciones de la inteligencia de negocio.

  • 1 Metodologías
  • 2 Métricas
  • 3 Tableros de instrumentos (comandos) y scorecards
  • 4 Lectura Adicional


  • Metodologías :
    Hay varias metodologías para implementar EPM. Da a compañías un marco de la Visión o Vista por el cual alinear el planeamiento y ejecución, estrategia y las táctica, y los objetivos de la unidad de negocio y de la empresa. Algunos de éstos son six sigma, balanced scorecard, activity-based costing, total quality management, economic value-add, and integrated strategic measurement. (seis sigma, scorecard equilibrado, coste basado en la actividad, gerencia de calidad total, económia de valor-añadido, y medida estratégica integrada). El scorecard equilibrado es la metodología lo más extensamente posible adoptada de la gerencia de funcionamiento. Las metodologías en si mismas no pueden entregar una solución completa a las necesidades del CPM de una empresa.
    Muchas implementaciones de pura metodología no pueden entregar las ventajas anticipadas porque no se integran con los procesos fundamentales del CPM.

  • Métrica :
    Los indicadores del funcionamiento de la métrica y las llaves (indices) de realización (KPÍs) son críticos en la prioridad qué tienen que ser medidos y en la definición de los mismos. La metodología utilizó ayudas en la determinación de la métrica que se utilizará por la organización. Se dice con frecuencia que uno no puede manejar qué no puede ser medida. Identificar la métrica dominante y determinación de cómo ella es ser ayudas medidas las organizaciones para supervisar funcionamiento a través del tablero sin conseguir inundada por un exceso de datos; un panorama que plaga la mayoría de las compañías hoy.


  • Tableros de instrumentos (cuadros de mando) y scorecards :
    El negocio se ha desarrollado hoy de la edad en que la inteligencia de negocio tomaría días o semanas para proporcionar los datos de organización dominantes pedidos por los responsables superiores. Hasta los datos minuciosos, juntados con alarmas e instalaciones del taladro abajo para localizar las razones de interrupciones ha autorizado a encargados hoy. Estas soluciones se integran con las soluciones anchas de la empresa existente que aumentan así los sistemas ya en lugar.

  • Lectura Adicional recomendada:
    1. Gartner Av-16-3211, " CPM: Un despliegue estratégico de los usos del BI, " N. Rayner, de mayo el 9, 2002.
    2. Gerencia de funcionamiento de la empresa - conducir funcionamiento de organización con los objetos estratégicos del negocio Intelligence-Business gerencia de funcionamiento
    3.Enterprise - artículo del grupo de gerencia de datos


    Divulgación :

    La gerencia de funcionamiento corporativo (CPM) es un concepto introducido por Gartner Research en 2001, que
    " todos los procesos, metodologías, métrica y sistemas necesitados para medir y para manejar el funcionamiento de un organization."[1]

    Hasta hace poco los empresarios determinaron el funcionamiento de sus empresas (generalmente mensuales) viendo si los objetivos en su plan estratégico eran resueltos y los saldos en su presupuesto eran excedidos.

    Por años, los empresarios han intentado en inútil conducir estrategia abajo y a través de sus organizaciones, han luchado para transformar estrategias en métricas accesibles y han atacado con análisis significativo para exponer las relaciones del causar-y-efecto que, si estuvieron entendidas, podrían dar la penetración provechosa a sus resposables de toma de decisión operacional.

    El software y los métodos de la gerencia de funcionamiento ahora corporativo (CPM) permiten un acercamiento sistemático, integrado que ligue estrategia de la empresa para quitar el corazón a procesos y a actividades. el " funcionamiento por los números " ahora significa algo pues el planear, presupuestando, análisis y la divulgación puede dar las medidas que autorizan decisiones de gerencia.

    Desemejante de la inteligencia o de datos de negocio el almacenamiento, allí no es una sola persona que puede ser señalada como al ' padre del CPM '. Recientemente, aunque, un número de libros han intentado hacer la metodología del CPM más accesible, incluyendo la principal metodología del oficial del funcionamiento.
    La gerencia de funcionamiento puede significar:

    La medida de funcionamiento es el proceso de determinar progreso hacia la realización de metas predeterminadas, mientras que la gerencia de funcionamiento es edificio en ese proceso que agrega la comunicación y la acción relevantes en el progreso alcanzado contra estas metas predeterminadas (Bourne, M., Franco, M. y Wilkes, J. (2003). Gerencia de funcionamiento corporativo. Excelencia Del Negocio Que mide; 2003; 7, 3; p. 15)

    En la gerencia de funcionamiento de la red, (a) un sistema de las funciones que evalúan y divulgan el comportamiento del equipo de las telecomunicaciones y la eficacia de la red o del elemento de la red y (b) un sistema de varias subfunciones, tales como recopilar la información estadística, manteniendo y examinar registros históricos, determinando funcionamiento del sistema bajo condiciones naturales y artificiales, y de alterar el modo de operación del sistema. Fuente: del estándar federal 1037C y de MIL-STD-188.

    En el desarrollo de organización (OD), el funcionamiento se puede analizar como: resultados real contra resultados deseados.

    Cualquier discrepancia, donde real menos que deseado, podría constituir la zona de la mejora del funcionamiento.

    La gerencia y la mejora del funcionamiento pueden ser pensadas en como ciclo:

    Planeamiento del funcionamiento donde se establecen las metas y los objetivos Funcionamiento que entrena donde un resposable interviene para dar la regeneración y para ajustar funcionamiento.

    Valoración de funcionamiento donde el funcionamiento individual se documenta y la regeneración se entrega formalmente.

    Un problema de funcionamiento es cualquier boquete entre los resultados deseadosy los resultados reales.
    La mejora del funcionamiento es cualquier esfuerzo apuntado en el cierre del boquete entre los resultados reales y los resultados deseados.

    La gerencia de funcionamiento del uso (APM) refiere a la disciplina dentro de la gerencia de sistemas que se centra en la supervisión y el manejo del funcionamiento y de la disponibilidad de los usos del software.

    APM se puede definir como workflow y relacionado, filetea desplegando para detectar, para diagnosticar, para remediar y para divulgar sobre ediciones del funcionamiento del uso para asegurarse de que el funcionamiento del uso resuelve o excede los usuarios finales y las expectativas de los negocios.

    La gerencia de funcionamiento de negocio (BPM) es un sistema de los procesos que ayudan a negocios para descubrir el uso eficiente de sus recursos de las unidades de negocio, financieros, humanos y materiales.

    El foco operacional de la gerencia de funcionamiento (OPM) está en crear maneras metódicas y fiables de mejorar resultados del negocio, o funcionamiento, a través de organizaciones.

    Puestas simplemente, las organizaciones de las ayudas de la gerencia de funcionamiento alcanzan sus metas estratégicas. Más bien que desechando los sistemas anteriores de la accesibilidad de los datos fomentados, la gerencia de funcionamiento lo enjaeza para ayudar a asegurarse de que los datos de una organización trabajan en servicio a las metas de organización para proporcionar la información que es realmente útil en la realización de ellos y del foco en los procesos operacionales del establecimiento de una red entre ese nivel de funcionamiento.

    La gerencia de funcionamiento de negocio (BPM) es un sistema de herramientas que ayudan a analizar los procesos en las organizaciones optimizando su funcionamiento de negocio. Es un marco para organizar, automatizar y analizar metodologías del negocio, la métrica, los procesos y los sistemas que conducen la optimización del mismo.[1]

    BPM se ve como la generación siguiente a la inteligencia de negocio (BI).
    Las herramientas de ayuda de los sistemas BPM hacen un uso eficiente de los factores economicos, humanos, del material y del otros recursos mejorando la eficiencia del negocio y dando una visón real del mismo para la efectiva toma de decisiónes en los negocios.[2]







  •  
  • Titulares

    Noticias
  •