Hola a todos, mi problema es el siguiente: necesito ir pasando filas desde unos jobs ó transformaciones hacia otros para procesarlas una una, me explico con un ejemplo:
- Tengo un JobA que contiene dentro una Transformación (TA), esta lee de una bd y escribe con un copiar filas al resultado.
- Detrás en el flujo de esta transformación (TA) y siempre dentro del JobA tengo un Job (JobB), el cual tengo marcado que se ejecute una vez por cada linea (every input row) para ejecutar una a una de las filas que me envía la (TA). Dentro de este JobB tengo una transformación (TB) que recoge los datos enviados en el flujo con un get rows from previous results hace una manipulación y graba a una tabla.
- Tras el JobB (y siempre dentro del JobA), lo siguiente en el flujo es una transformación (TC) que lo que hace es leer la tabla rellenada anteriormente en el TB y vuelve a copiar las filas al resultado.
-Tras esta transformacion (TC) que lee los datos de esta tabla tengo un JobC que se ejecuta una vez por línea y dentro una transformacion (TD) que vuelve a recoger estos datos con get rows from previous results para transformarlos.
Mi problema es que la primera transformación que lee datos de una tabla y manda los resultados al JobB para que ese los ejecute linea a linea (recogiendolos dentro de su transformacion con get rows from result) lo hace correctamente y procesa bien, pero al llegar a la siguiete lectura de la tabla (TC) y mandarselos al jobC que a su vez se ha de ejecutar una vez por cada fila que recibe y dentro su transformacion que vuelve a recoger las filas con get rows from result ESTE paso ya no funcona, el stream está vacío. No sé si es porque no se puede utilizar más de una vez el get rows from result (aunque realmente está cada uno en un job distinto, eso sí dentro de otro genérico y conectados), ó es que estoy haciendo algo mal. He pensado también en pasarlas como parámetros ó variables pero no se me ocurre como. Lo he tendio que hacer así porque he tenido que partir en distintas transformaciones y jobs ya que tenía muchos pasos y me quedaba sin memoria, así mismo los procesos de algunos jobs lo tengo que hacer línea ya que tengo que tener la conformidad de que se ha realizado todo el trabajo de una fila antes de pasar a la siguiente.
¿Alguien puede aportarme algon de luz?
Muchas gracias a todos por vuestro interés, y saludos.