La red del Business Intelligence
[Tutorial 02] Esquema de trabajo y Creación de Trabajo en PDI
Objetivo:
* Presentación de esquema de trabajo.
* Crear ocho transformaciones, que extraigan los datos desde un oltp y los almacenen en una base de datos MySQL.
* Crear un trabajo, que ejecute estas ocho transformaciones.
* Guardar y Ejecutar el trabajo.
Requisitos:
* Haber leído [Tutorial 01].
Esquema de trabajo:
Para la realización de esta actividad, vamos a tener en cuenta el siguiente esquema:
Este esquema se compone de tres elementos:
* OLTP: fuente de datos interna/externa. En nuestro ejemplo, archivos .dbf.
* Almacenamiento Intermedio: base de datos en donde se guardarán los datos importantes provenientes de los OLTP y de los procesos ETL, que son necesarios para poblar el DW. En nuestro ejemplo, base de datos "intermedio" (MySQL).
* DW: base de datos correspondiente al Data Warehouse. En nuestro ejemplo, base de datos "datawarehouse", (MySQL).
Pasos generales:
1) Crear Bases de Datos:
Crear las siguientes base de datos en MySQL:
* intermedio.
* datawarehouse.
2) Crear/Poblar tablas de la base de datos "Intermedio":
* Crear una carpeta con el nombre “oltp” en [...\data-integration], y pegar en ella los archivos .dbf adjuntos (añadir al archivo adjunto la extensión .rar y descomprimirlo).
* Crear una carpeta con el nombre “etl” en [...\data-integration], que sera en donde guardaremos las Transformaciones y Trabajos.
* Crear las siguientes transformaciones, tomando como entradas los archivos .dbf adjuntos:
___* clientes - Pje Intermedio
___* facturacabecera - Pje Intermedio
___* facturadetalle - Pje Intermedio
___* productos - Pje Intermedio
___* proveedores - Pje Intermedio
___* rubros - Pje Intermedio
___* vendedores - Pje Intermedio
___* zonas - Pje Intermedio
3) Crear un Trabajo:
* Ir a Fichero → Nuevo → Trabajo
4) Crear pasos:
4.1)
* En el panel izquierdo seleccionar la pestaña “Objetos principales”.
4.2)
* Seleccionar el paso General → Start y arrantrarlo a la zona de trabajo.
4.3)
* Seleccionar el paso General → Transformación y arrantrarlo a la zona de trabajo.
* Acceder al paso, haciendo doble clic sobre el mismo.
* Para este ejemplo, completaremos solo dos campos:
___* Nombre de la entrada de trabajo: es el nombre que tendrá el paso, en este caso “clientes - Pje Intermedio”.
___* Nombre del archivo de transformación: es el nombre y path de la transformación a la que nos referimos, en este caso “file:///home/datos/programas/data-integration/etl/clientes - Pje Intermedio.ktr”
4.4)
Unir el paso Start con el paso Transformación.
4.5)
Repetir el paso 4.3 para incluir a todas las Transformaciones creadas en el paso 2.
Unir cada nueva transformación con la anterior creada.
4.6)
* Seleccionar el paso General → Exito y arrantrarlo a la zona de trabajo.
* Unir a este, el último paso Transformación creado.
4.7)
* Seleccionar el paso General → Abortar trabajo y arrantrarlo a la zona de trabajo.
* Unir cada paso Transformación a este nuevo paso.
5) Guardar el Trabajo:
* Ir a Fichero → Guardar como...
* Seleccionar el lugar y nombre del archivo, en este caso “Pje Intermedio”
6) Ejecutar el Trabajo
* Ir a Trabajo → Ejecutar
* Presionar “Ejecutar”
Listo! Si han seguido los pasos correctamente, deberían obtener el siguiente resultado:
PD: Los esquemas utilizados en este tutorial, son los que utiliza mi colega Mariano Mattío en su video tutorial OpenI. Gracias Mariano!
Espero les sea útil.
Saludos.
* Presentación de esquema de trabajo.
* Crear ocho transformaciones, que extraigan los datos desde un oltp y los almacenen en una base de datos MySQL.
* Crear un trabajo, que ejecute estas ocho transformaciones.
* Guardar y Ejecutar el trabajo.
Requisitos:
* Haber leído [Tutorial 01].
Esquema de trabajo:
Para la realización de esta actividad, vamos a tener en cuenta el siguiente esquema:
Este esquema se compone de tres elementos:
* OLTP: fuente de datos interna/externa. En nuestro ejemplo, archivos .dbf.
* Almacenamiento Intermedio: base de datos en donde se guardarán los datos importantes provenientes de los OLTP y de los procesos ETL, que son necesarios para poblar el DW. En nuestro ejemplo, base de datos "intermedio" (MySQL).
* DW: base de datos correspondiente al Data Warehouse. En nuestro ejemplo, base de datos "datawarehouse", (MySQL).
Pasos generales:
1) Crear Bases de Datos:
Crear las siguientes base de datos en MySQL:
* intermedio.
* datawarehouse.
2) Crear/Poblar tablas de la base de datos "Intermedio":
* Crear una carpeta con el nombre “oltp” en [...\data-integration], y pegar en ella los archivos .dbf adjuntos (añadir al archivo adjunto la extensión .rar y descomprimirlo).
* Crear una carpeta con el nombre “etl” en [...\data-integration], que sera en donde guardaremos las Transformaciones y Trabajos.
* Crear las siguientes transformaciones, tomando como entradas los archivos .dbf adjuntos:
___* clientes - Pje Intermedio
___* facturacabecera - Pje Intermedio
___* facturadetalle - Pje Intermedio
___* productos - Pje Intermedio
___* proveedores - Pje Intermedio
___* rubros - Pje Intermedio
___* vendedores - Pje Intermedio
___* zonas - Pje Intermedio
3) Crear un Trabajo:
* Ir a Fichero → Nuevo → Trabajo
4) Crear pasos:
4.1)
* En el panel izquierdo seleccionar la pestaña “Objetos principales”.
4.2)
* Seleccionar el paso General → Start y arrantrarlo a la zona de trabajo.
4.3)
* Seleccionar el paso General → Transformación y arrantrarlo a la zona de trabajo.
* Acceder al paso, haciendo doble clic sobre el mismo.
* Para este ejemplo, completaremos solo dos campos:
___* Nombre de la entrada de trabajo: es el nombre que tendrá el paso, en este caso “clientes - Pje Intermedio”.
___* Nombre del archivo de transformación: es el nombre y path de la transformación a la que nos referimos, en este caso “file:///home/datos/programas/data-integration/etl/clientes - Pje Intermedio.ktr”
4.4)
Unir el paso Start con el paso Transformación.
4.5)
Repetir el paso 4.3 para incluir a todas las Transformaciones creadas en el paso 2.
Unir cada nueva transformación con la anterior creada.
4.6)
* Seleccionar el paso General → Exito y arrantrarlo a la zona de trabajo.
* Unir a este, el último paso Transformación creado.
4.7)
* Seleccionar el paso General → Abortar trabajo y arrantrarlo a la zona de trabajo.
* Unir cada paso Transformación a este nuevo paso.
5) Guardar el Trabajo:
* Ir a Fichero → Guardar como...
* Seleccionar el lugar y nombre del archivo, en este caso “Pje Intermedio”
6) Ejecutar el Trabajo
* Ir a Trabajo → Ejecutar
* Presionar “Ejecutar”
Listo! Si han seguido los pasos correctamente, deberían obtener el siguiente resultado:
PD: Los esquemas utilizados en este tutorial, son los que utiliza mi colega Mariano Mattío en su video tutorial OpenI. Gracias Mariano!
Espero les sea útil.
Saludos.
Visitas: 13653
- Archivos adjuntos
-
-
archivos dbf, 13 KB
-
Respuestas a esta discusión
-
Permalink Responder para Francisco Sotomayor H. el
-
Muchas gracias por el tutorial.
Vi que el objeto "Start" puede ser configurado y así ejecutar el trabajo en un fecha y cantidad de veces determinadas. Eso significa que si los archivos usados en las transformaciones sufren algún cambio, ese cambio se reflejaría en la base de datos, en este caso "intermedio"... es así?
Saludos. -
-
Permalink Responder para Bernabeu R. Dario el
-
Buenas tardes Francisco.
Así es, ese es el fin de ese objeto.
Saludos. -
-
Permalink Responder para fherdi el
-
Estoy aprendiendo de esto, y tu ejemplo me parece exceleten puesto que estoy haciendo algo similar y tu trabajo me da una buena idea.
Gracias. -
-
Permalink Responder para maricela el
-
DISCULPE ES NECESARIO HACER UNA BASES DE DATOS INTERMEDIO.. Y SI LA HAGO AQUI PUEDO PONER LAS TABLAS QUE VOY SOLO A NECESITAR O EN ESTA TABLA INTERMEDIA DE LEY VAN LOS CAMPOS DE TABLAS DIMENSIONES..
-
-
-
Maricela, en este enlace a HEFESTO puedes encontrar respuesta a tu pregunta.
Saludos -
-
-
Buenas.
"archivos dbf" en un contenedor de archivos. Para ver su contenido debes descomprimirlo.
Saludos. -
-
-
gracias por la respuesta tengo otra pregunta la dimension fecha que crean en este ejemplo simplemente EMPIEZO HACER FECHAS DE MAS O MENOS CUANDO EMPIEZAN LAS VENTAS Y LAS DESGLOSO ASI COMO EL EJEMPLO DE AQUI
Bernabeu R. Dario dijo:Buenas.
"archivos dbf" en un contenedor de archivos. Para ver su contenido debes descomprimirlo.
Saludos. -
-
-
OTRA PREGUNTA COMO estoy haciendo esto para practicar para poder hacer un proyecto en pentaho, en que momento se detiene el TRABAjo y en cuando se puede presentar un error. y tambien si mi base original de donde extraigo los datos sufre cambio como por ejemplo aunmentar mas informacion al momento de hacer este trabajo esa informacion se cargaria en la base de entrada del trabajo es asi.. o estoy mal.. orientada.
-
-
-
Buenas.
Las fuentes de donde se extraen los datos tendrán cada tanto información nueva, por lo cual deberías ejecutar el trabajo/transformación que se encarga de poblar el DW de forma periódica, muy comúnmente suele correrse todos los días a las 12 de la noche.
En el paso "Start" se puede definir estas cuestiones, o bien se puede calendarizar un script que se encargue de ejecutar el trabajo/transformación con cierta periodicidad.
Saludos. -
-
-
hola tengo una pregunta esta era una base que la usaba la misma empresa pero varias sucursales y esas sucursales a su vez tenia varios locales no se si me haga entender cosa que estaba asi
como veras hay dos claves al momento de crear mi dimension almacen obviamente no podre dejar la otra clave afuera porq la otra lo hace diferente, como crearia mi dimension?
-
-
Permalink Responder para Mariano García Mattío el
-
puedes fusionar las dos claves en una o crear una subrogada
-
- ‹ Anterior
- 1
- 2
- 3
- Siguiente ›
© 2024 Creado por Emilio.
Tecnología de
