Open Business Intelligence

La red del Business Intelligence

Estoy procesando 20 millones una vez el mes aproximadamente, lo que estoy haciendo ahora mismo es hacer una insercion directa en una Tabla temporal, partiendo de un fichero de texto. Inicialmente la velocidad comienza en 20.000 r/s, pero ba bajando. 

Luego de 2 horas ha insertado 5 millones ya la velocidad es de 600 aprox... 

Que puedo hacer para mantener la perfomance en 3000 mas menos?

Gracias

Visitas: 346

Archivos adjuntos

Respuestas a esta discusión

Que sistema de gestión de bases de datos tienes?

Daniel, tu tabla temporal debería carecer de indices y cualquier control de integridad, por un lado, por otro lado deberías pensar en seleccionar un tipo de storage engine que mejore la respuesta para este tipo de transacciones, por ejemplo TokuDB oXtraDB

Te dejo un link en el cual puedes leer sobre el tema: https://mariadb.com/kb/en/mariadb/choosing-the-right-storage-engine/

También deberías configurar correctamente, según el tamaño de transacción tus logs

Saludos

Mariano

Hola Mariano, gracias por tu respuesta, uso MS SQL, pq al final lo que hago es llenar tablas, sobre las cuales se ejecuta una logica de programacion para ofrecer reportes.

Prácticamente no conozco ese motor, no puedo decirme mucho al respecto


Daniel Diaz Canel dijo:

Hola Mariano, gracias por tu respuesta, uso MS SQL, pq al final lo que hago es llenar tablas, sobre las cuales se ejecuta una logica de programacion para ofrecer reportes.

RSS

Distintivo

Cargando…

© 2024   Creado por Emilio.   Tecnología de

Emblemas  |  Reportar un problema  |  Términos de servicio