La red del Business Intelligence
Rendimiento en ETL
Estoy procesando una gran cantidad de registros cerca de 50 millones y el rendimiento deja mucho que desear. Hice la transformación lo mas sencilla posible para no ocasionar cuellos de botella. alguna recomendación para mejor la performance.
Gracias por adelantado
Visitas: 348
Respuestas a esta discusión
-
Permalink Responder para Daniel pareja el
-
Existen un par de tips para mejorar el rendimiento, dependiendo del motor de base de datos que utilices.
Oracle:
- Crear una tabla temporal en donde se cargan los datos directamente
- En un job posterior realizar un insert + Append desde la tabla temporal a la final
- Actualizar estadísticas
MS SQL:
- Deshabilitar los índices
- Cargar los datos
- Hacer un rebuild de los índices
En la mayoría de los motores debería funcionar parecido a SQL server, pero no lo podría asegurar
Saludos
-
-
Permalink Responder para Mariano García Mattío el
-
Estimado, dependiendo de lo que estás haciendo, deberías ver la posibilidad de paralelizar la ejecución en cluster.
Saludos
Mariano
-
© 2024 Creado por Emilio.
Tecnología de
