3.6 POBLANDO EL DATAWAREHOUSE

PROCESO ETL

El proceso ETL se refiere a la Extracción, Transformación y Carga de los datos.

• Extraer:

• En esta fase se extraen los datos directamente de los sistemas de origen. Los datos obtenidos son datos que aun no están procesados y que provienen de fuentes internas y externas a la empresa.

• 
  

• 

• Transformar:

• En la transformación los datos provenientes de los sistemas de origen son limpiados y depurados para seleccionar únicamente los datos necesarios y los mas importantes.

• En esta etapa se realizan algunas de las siguientes transformaciones:

• Seleccionar sólo ciertas columnas para su carga (por ejemplo, que las columnas con valores nulos no se carguen).

• Traducir códigos (por ejemplo, si la fuente almacena una "H" para Hombre y "M" para Mujer pero el destino tiene que guardar "1" para Hombre y "2" para Mujer).

• Codificar valores libres (por ejemplo, convertir "Hombre" en "H" o "Sr" en "1").

• Obtener nuevos valores calculados (por ejemplo, total_venta = cantidad * precio, o Beneficio = PVP - Coste).

• Unir datos de múltiples fuentes (por ejemplo, búsquedas, combinaciones, etc.).

• Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada región).

• Generación de campos clave en el destino.

• Cargar:

• se trata de introducir los datos, ya adaptados al formato deseado, dentro del sistema destino. En algunos casos se sobreescribe la información antigua con la nueva, mientras que en otros se guarda un historial de cambios que permite consultas retrospectivas en el tiempo, así como revertir modificaciones.

Estandarización de los datos

Consiste en separar la información en diferentes campos, así como unificar ciertos criterios para un mejor manejo y manipulación de los datos.Tener datos estandarizados, consistentes y con calidad, resulta muy útil y a veces de vital importancia para las empresas que utilizan almacenes de datos. Un ejemplo de ello son aquellas organizaciones cuyos datos referentes a sus clientes son de gran valor.

Estas son algunos links de descargas de herramientas para DataWareHouse:

Sistema de Stock:

• Descargar MACRO EXCEL STOCKS

Sistema para el proceso ETL:

• Descargar Clover ETL.

Tutorial de Clover ETL:

3.5 DISEÑO DE LA BASE DE DATOS DEL DATAWAREHOUSE

Para elaborar un mejor diseño de un datawarehouse es mas recomendable realizar el diseño utilizando la técnica de diseño por separado, en la cual el diseño se realiza por separado diseñando cada DataMart. Esta tecnica tiene ventajas que son:

-Utilizar menos tiempo del diseño.
-Mayor facilidad para diseñar el datawarehouse.
-Menores recursos.


Aunque esto a su vez conlleva a un problema a la hora de juntar los DataMart ya que, se debe de saber integrar cada DataMart sino el agrupamiento se volvería complicado.

Para poder solucionar el agrupamiento de los DataMart se debe de realizar lo siguiente:

• diseñar la Base de Datos de cada DataMart sin perder de vista el objetivo final de integración.

• Definir una estructura común o bus de datos donde se apoyen cada DataMart.

Mas información sobre un DataMart:

ESTRATEGIAS PARA EL DISEÑO DE UN DATAWAREHOUSE

El diseño de los data warehouses es muy diferente al diseño de los sistemas operacionales tradicionales. Se pueden considerar los siguientes puntos:

• Los usuarios de los data warehouses usualmente no conocen mucho sobre sus requerimientos y necesidades como los usuarios operacionales. 
• 
  
• El diseño de un data warehouse, con frecuencia involucra lo que se piensa en términos más amplios y con conceptos del negocio más difíciles de definir que en el diseño de un sistema operacional. Al respecto, un data warehouse está bastante cerca a Reingeniería de los Procesos del Negocio (Business Process Reengineering). 

• Finalmente, la estrategia de diseño ideal para un data warehousing es generalmente de afuera hacia adentro (outside-in) a diferencia de arriba hacia abajo (top-down).

3.4 MODELAMIENTO DE DATOS EN EL DATAWAREHOUSE

Para el diseño de un datawarehouse se debe de tener en cuenta la cantidad de información y el tipo de modelo que se requiere utilizar. Un modelo de datos es una representación de la información mediante estructuras implementadas que ayudan a organizar y presentar los datos de diferentes maneras.

El modelo Entidad-Relación de un Datawarehouse es el mas utilizado para la representación de los datos mediante uso de dimensiones. Este modelo permite representar las entidades relevantes de un sistema de información así como sus relaciones y sus propiedades.

Este tipo de modelos contiene dos elementos que son:

Dimensiones: Representan factores por los que se analiza una determinada área del negocio.


Hechos: Son el objeto de los análisis y se relacionan con las dimensiones.


Los Cubos OLAP son ejemplos de modelos donde se utilizan las dimensiones.

OLAP (Procesamiento Analítico en linea): Se utiliza en la Inteligencia de negocios y su objetivo es agilizar las consultas de grandes cantidades de datos. Utilizan estructuras multi dimensionales que contienen datos de forma resumida obtenidos de bases de datos y son utilizados en diferentes campos como Marketing, ventas, minería de datos y apoyan a la gerencia de una empresa a poder analizar información del negocio de una manera mas simple y así poder tomar decisiones. 

para conocer mas acerca de los Cubos OLAP lea el siguiente libro.


Libro Procesamiento de Bases de Datos.


Si la información necesita disponer de varios niveles de granularidad se crean jerarquías con las dimensiones. Por ejemplo la jerarquía fecha podría ser “día – semana – mes – trimestre – año”.

Las jerarquías de las dimensiones presentan relaciones n-1 de manera que un valor de un nivel sólo puede ser agrupado por un único valor de cada nivel inmediatamente superior en la jerarquía.

Los modelos multi dimensionales se representan mediante cubos:







A continuación se muestra algunos de los deferentes modelos de datos que existen:




Modelo basado en grafos:
la información es representada mediante nodos los cuales se unen con aristas que representan las relaciones.

Mas información sobre este tema




Modelo Relacional:
Este modelo representa los datos en forma de tablas o relaciones.
representación Lógica:





Representacion Fisica (Registros, archivos y campos):





Modelo Orientado a Objetos:
Este modelo se basa en las Bases de Datos orientadas a Objetos en las cuales los datos se organizan en clases, atributos y métodos.


Los principales conceptos que se utilizan en las Bases de Datos Orientada a Objetos son las siguientes:
· Identidad de objetos
· Constructores de tipos
· Encapsulamiento
· Compatibilidad con los lenguajes de programación
· Jerarquías de tipos y herencia
· Manejo de objetos complejos
· Polimorfismo y sobrecarga de operadores y
· Creación de versiones.


a continuación se muestra un video acerca de este tipo de modelos:

3.3 PLANIFICACIÓN DE UN PROYECTO DATAWAREHOUSE

La planificación es un proceso en el que se obtiene una visión del futuro y para determinar y lograr los objetivos es necesario realizar un curso de acción. José Antonio Fernández Arena define: "planear es una función de un administrador, aunque el carácter y la amplitud  de la planeación varían con su autoridad y con la naturaleza de las políticas y planes delineados por su superior".

Con la planificación se pueden identificar los problemas existentes, visualizar la situación deseada y formular los objetivos y cursos de acción que conduzcan a la situación deseada. Con una buena planificación se puede prever cómo evaluar procesos y resultados, identificar los recursos necesarios para realizar las acciones, prever acciones y organizar los pasos para lograr su fin, ademas se puede pensar en un futuro deseable lo que se quiere lograr.

Para llevar una buena planificación se deben de seguir ciertos aspectos como lo son:

• Involucrar a los usuarios y a la gestión para asegurar que el datawarehouse contenga información importante que pueda satisfacer a los requerimientos de la empresa. 

• ¿Porqué se deben de tomar en cuenta a usuarios y a la gestión?

• La gestión ayuda a mejorar la fase de implementacion y la selección de herramientas. Los usuarios justifican los costos del datawarehose sobre cómo será su ambiente y se basa en lo esperado y en el valor comercial real.

• Construir prototipos:

• La construcción de prototipos en el proceso de implementacion permite al datawarehouse reunir las necesidades de los usuarios.

• Implementacion incremental:

• Esto reduce riesgos y asegura que el tamaño del proyecto permanezca manejable en cada fase.

• Retroalimentacion:

• Una retroalimentación ofrece una oportunidad para exponer los éxitos dentro de la organización, sobre cómo el datawarehouse ha ayudado a los usuarios a operar mas efectivamente y manejar los datos de una mejor manera. La retroalimentación del usuario también ayuda a comprender cómo evoluciona la implementación del data warehouse a través del tiempo para reunir requerimientos de usuario nuevamente identificados.

• 

La buena planificación en la construcción de un datawarehouse garantiza que el almacén de los datos se construya de acuerdo a los requerimientos de la empresa y sin inconvenientes.

3.2 ANÁLISIS DE LOS REQUERIMIENTOS EMPRESARIALES

         El análisis de los requerimientos debe de estar concentrado en las necesidades de la empresa y esto es necesario para la realización del datawarehouse.

este análisis se centra en los objetivos y los relaciona con las funciones de la organización.
Se describen las técnicas y tareas utilizadas por un analista para verificar los requerimientos establecidos y así de finir las capacidades necesarias para proponer una solución a las necesidades del negocio.

Con el análisis de requerimientos se pueden realizar modelos que sirven para:

-Validar el alcance de la solución.
-Analizar el estado actual de una organización.
-Identificar las oportunidades de mejora del negocio.
-Ayudar a los interesados a comprender y analizar el estado actual tanto en el mercado, como internamente.

En el análisis existen varios tipos y aquí se mencionan algunos:

• Análisis de Arriba hacia Abajo (top - Down): esta orientado a definir el tema del negocio.         
• 
  
•  Algunas ventajas de este análisis son:
•  Permite tener una visión global del mercado.
• Mas fácil maximizar la toma de decisiones respecto a las inversiones.

          las fases del análisis arriba abajo se mencionan en la siguiente figura:

• Análisis de consulta empresarial: orientado a detallar los requerimientos del tema del negocio.
• La visión de la consulta empresarial es la perspectiva de los datos del Data warehouse desde el punto de vista del usuario.
• este tipo de análisis de consulta contienen sub-consultas llamadas puntos de corte. Como por ejemplo el nombre puede cortarse en Nombre, Apellido Paterno y Apellido Materno.
• Análisis de las fuentes de datos: 
• dentro de este análisis se checa las fuentes de información para garantizar que estos datos sean los necesarios para incluirlos al datawarehouse. Los tipos de fuentes de datos se explican en la siguiente imagen:
• 
  
• 

5. Consultas y reportes como herramientas de acceso a los datos

Consultas y reportes como herramientas de acceso a los datos

Descripcion.

Las herramientas de consulta y análisis son sistemas que permiten a los usuarios realizar la exploración de datos del Datawarehouse. Básicamente constituyen el nexo entre el depósito de datos y los usuarios.

Utilizan la metadato de las estructuras de datos que han sido creadas previamente (cubos multidimensionales, Business Models, etc.) para trasladar a través de consultas SQL los requerimientos de los usuarios, para luego, devolver el resultado obtenido.
Ejemplo.

Estas herramientas también pueden emplear simples conexiones a bases de datos (JNDI, JDBC, ODBC), para obtener la información deseada.

A través de una interfaz gráfica y una serie de pasos, los usuarios generan consultas que son enviadas desde la herramienta de consulta y análisis al Query Manager, este a su vez realiza la extracción de información al DW Manager y devuelve los resultados obtenidos a la herramienta que se los solicitó. Luego, estos resultados son expuestos ante los usuarios en formatos que le son familiares.

Este proceso se puede comprender mejor al observar la siguiente figura:

Ejemplo de proceso.

Reportes y Consultas 

Se han desarrollado muchas herramientas para la producción de consultas y reportes, que ofrecen a los usuarios, a través de pantallas gráficas intuitivas, la posibilidad de generar informes avanzados y detallados del tema de interés de interés que se esté analizando.

 Los usuarios solo deben seguir una serie de simples pasos, como por ejemplo seleccionar opciones de un menú, presionar tal o cual botón para especificar los elementos de datos, sus condiciones, criterios de agrupación y demás atributos que se consideren significativos.

Actualmente las herramientas de generación de reportes y consultas cuentan con muchas prestaciones, las cuales permiten dar variadas formas y formatos a la presentación de la información. Entre las opciones más comunes se encuentran las siguientes.

Parametrización de los datos devueltos. Selección de formatos de salida (planilla de cálculo, HTML, PDF, etc.).

• Inclusión de gráficos de tortas, barras, etc.
•  Utilización de plantillas de formatos de fondos.
•   Inclusión de imágenes.
•  Formatos tipográficos.
•   Links a otros reportes.

Referencia:

http://www.dataprix.com/data-warehousing-y-metodologia-hefesto/i-data-warehousing-investigacion-y-sistematizacion-concepto-17


si deseas descargar el documento completo lo puedes descargarlo en el sigiente link:https://drive.google.com/file/d/0B5cj9C3IRf7gdVlGLU1TeFpqSm8/view?usp=sharing

Videos relacionados con el tema.

video donde se muestra proceso para  realizar reportes con mineria de datos directamente  desde un datawherehouse.

4. Disponibilidad de soluciones en el mercado para la IB.

Disponibilidad de soluciones en el mercado para la IB.

Descripcion.

En la actualidad la necesidades de implementar soluciones  de inteligencia de negocios (IB) en las empresas ha creado un mercado competitivo en nuestro días encontrándonos con infinidad de soluciones creadas por empresas dedicadas a atacar  esta necesidad  que las empresas tienden a solicitar.

En el siguiente documento encontraras información relevantes sombre los principales proveedores de soluciones de Inteligencia de negocios en el mundo siendo estos los que se conservan en el mercado por su preferencia de las empresas al momento de la sus adquisiciones.

Soluciones que brinda la implementación de inteligencia de negocios.

•         Diagnóstico y auditoría de negocio.
•          Estudio de mercado.
•          Posicionamiento de solución.
•          Perfilación de usuario y target.
•          Planificación de negocio y de acción.
•          Gestión de proyectos y nuevos emprendimientos.
•          Estrategia y Procesos IT o de negocios.
•          Diligencia debida.
•          Estadísticas & datamining.

Listado de los principales proveedores de soluciones de IB

•     Hiberus.

• Centro de Recursos Oracle para Business Inteligence.

HIBERUS

Hiberus Tecnología ha trabajado durante los 9 últimos años en desarrollos de BI de gran calado. Clientes como el Gobierno de Aragón o Salud cuenta con desarrollos BI de Hiberus. Ninguna otra empresa cuenta con las referencias de este calado e importancia en proyectos de BI. Pero así mismo Hiberus ha desarrollado proyectos para Pymes que han conseguido mejorar sus resultados.

El equipo de personas que forman esta área de competencia son expertos en el conocimiento de procesos y le ayudaran a conseguir obtener la información que realmente desea y necesita para el mejor funcionamiento de su empresa.

Hiberus cuenta con más de 300 profesionales, especializados en proporcionar soluciones a todas las necesidades TIC. De su empresa.

CAPACIDADES

• Expertos en BI.

Contamos un equipo de consultores y expertos con conocimientos técnicos necesarios para ayudarle en todo momento

 

• Expertos en ingeniería informática.

Con experiencia en el dimensionamiento y mantenimiento de sistemas de alto rendimiento, diseñados para soportar muy altos rendimientos

  

• Expertos en internet.

Con equipos especializados en todos los ámbitos de la red, incluyendo SEO, accesibilidad, y por supuesto markening online

PRINCIPALES CARACTERÍSTICAS

• Generación de cuadros de mando que permiten identificar y definir objetivos a corto, medio y largo plazo.
• Disponer de una herramienta de control que permita la toma de decisiones de manera ágil.
• Otorgar a los departamentos de dirección la información necesaria para realizar predicciones del futuro inmediato de su negocio.
• Elaboración de estrategias de actuación, planes de ejecución y gestión del cambio a partir de los datos obtenidos.
• Ofrecer la mejor información en el momento adecuado y con una única versión.
• Definir y señalar los puntos fuertes y débiles de una organización.
• Identificar y marcar los objetivos corporativos, departamentales e individuales, alineando a toda una organización con una estrategia predeterminada.

Página oficial.

http://www.hiberus.com/business-intelligence?gclid=CjwKEAiA4rujBRDD7IG_wOPytXkSJACTMkgaIkU5RzaGgto5d-m1T_TKVhP_F8MBW9QfQIMHXRYHjBoCa3_w_wcB

Grupo Heraldo.

Centro de Recursos Oracle para Business Inteligence

Oracle brinda la primera plataforma que unifica aplicaciones de gestión de performance, herramientas de Business Inteligence y de análisis y almacenamiento de datos.

Las soluciones de BI de Oracle están dirigidas a los ejecutivos de tecnología y negocios de organizaciones que buscan optimizar e integrar los procesos de análisis y gestión. La plataforma de Oracle para Business Inteligence es:

 Completa — Integra información de gestión de performance, business Inteligence y aplicaciones transaccionales. 

Abarcadora — Suministra inteligencia y análisis de forma intuitiva a todos en la organización – desde ejecutivos hasta empleados de campo. Permite mejores decisiones, acciones y procesos de negocios.

 Integrada — Utiliza sus fuentes existentes de datos y sistemas, más allá de la tecnología adoptada. Los productos y herramientas de BI de Oracle pueden conectarse a cualquier ambiente de TI basado en estándares.

Página oficial.

http://www.oracle.com/webapps/dialogue/ns/dlgwelcome.jsp?p_ext=Y&p_dlg_id=14007438&src=7878540&Act=39&sckw=WWMK13048931MPP006

SOFTTEK.

Softtek ofrece soluciones estratégicas de Inteligencia de Negocio (BI) enfocadas a la administración y creación de conocimiento que le permitan:

·         Tomar decisiones de negocio confiables y efectivas.

·         Desarrollar una verdadera inteligencia operativa y de desempeño

·         Generar una ventaja competitiva y posicionamiento en el mercado

Metodología

Las soluciones de BI requieren de equipos multidisciplinarios y un acercamiento Metódico.

 Es necesario entender la naturaleza del negocio, las características Propias de su información, y contar con el conocimiento técnico para obtener E integrar los datos desde muy diversas fuentes.

Típicamente, las grandes Organizaciones cuentan con ambientes heterogéneos, con información Almacenada en diferentes sistemas, en muy diversas plataformas. Softtek Combina la experiencia, habilidades, métodos y herramientas que demanda el Mercado de soluciones de BI.

Diferenciadores en BI

17 años de experiencia implementando soluciones de BI, DI & DQ Soluciones para Servicios Financieros, Seguros, Petroquímico, Farmacéutica y Gobierno, entre otros

Más de 300 profesionales de BI Metodología propietario centrado en el cliente, y modelo de gestión Six Sigma Cobertura global

Fuerte alianzas con soluciones líderes como:

•  Cognos
• Informática
•  SAP / Business Objects
•  Microsoft.

Página oficial.

http://www.softtek.com

Nota: Existen infinidad de proveedores de soluciones de IB estos que se muestran en el documento son solo algunos de los más importantes y con más peso en el mercado.


Si deseas descargar el documento completo da click sombre la siguiente linga:https://drive.google.com/file/d/0B5cj9C3IRf7gMTMtaDFZVnlQVEk/view?usp=sharing


Videos relacionados con el tema.