Detectar un número de filas nuevas inusual en Pentaho Data-Integration

[David Lema Lema]

Buenas, estoy realizando el Trabajo Fin de Grado del Grado de Inteniería informática, y estoy realizando un ETL acompañado de su DW.

Quisiera saber, si sabéis como detectar situaciones en las que el número de registros recibido es mucho mayor (o menor) de lo esperado como por ejemplo en una tabla de ventas, lo normal es actualizar 800-1200 ventas diarias, según un  histórico, y un número distinto a esos, significa un error.

Gracias, espero ansioso vuestras aportaciones. 

 

 

[alberto garcia]

Para estas cosas tendrias que cargar la información a tablas auxiliares o temporales para validar la cantidad de registros y a partir de ahi tomar una acción si actualizas o no.

[Ivan M. Pincheira Henriquez]

Hola David,

tambien puede ser util el utilizar variables en Spoon, aunque para eso debes tener dos transformaciones,

una en la cual te lea la cantidad de registros que debas leer y guarde ese numero en una variable, que luego la segunda transformacion utilizara para comparar los registros que el tiene para insertar en el DW.

las variables no pueden usarse en una misma transformacion, porque los step corren en paralelo.

saludos.

[David Lema Lema]

Buenas Iván, 

Gracias por tu respuesta (y por la tuya también Alberto ;D), pero lo he intentado y no he conseguido nada de provecho. Tendrías algún ejemplo de ambas transformaciones que hacen falta. 

Gracias. 

Ivan M. Pincheira Henriquez dijo:

Hola David,

tambien puede ser util el utilizar variables en Spoon, aunque para eso debes tener dos transformaciones,

una en la cual te lea la cantidad de registros que debas leer y guarde ese numero en una variable, que luego la segunda transformacion utilizara para comparar los registros que el tiene para insertar en el DW.

las variables no pueden usarse en una misma transformacion, porque los step corren en paralelo.

saludos.

[Bernabeu R. Dario]

Buenas David, cómo estás?

Te adjunto una Transformation que calcula la cantidad de filas y que luego determina que camino seguir en base a este:

Saludos

PD: para mantener un mínimo orden interno en esta red, estaría bueno que los temas relacionados a PDI se hagan en el grupo correspondiente.