Paralelización automática y estrategias de desarrollo del código eficiente para aumentar el rendimiento en centros de supercomputación

Abstract

Expertos de múltiples ramas del conocimiento se enfrentan a desafíos en proyectos científicos, técnicos o industriales que requieren el uso de la computación de alto rendimiento (HPC, High-Performance Computing). Sin embargo, el desarrollo de algoritmos y programas que empleen correctamente este tipo de infraestructuras implica un importante conocimiento previo que muchos usuarios no poseen. Así, es común que científicos e investigadores empleen demasiado tiempo en desarrollar y ejecutar correctamente sus algoritmos, propiciando que sus códigos no sean eficientes. En consecuencia, en esta tesis se propone un transcompilador (compilador source-to-source) para la paralelización automática de códigos secuenciales, con el cual es posible obtener mejores rendimientos y eficiencias en las ejecuciones y escoger una correcta estrategia de planificación para cada código, facilitando además la formación y la mejora de las capacidades en la programación paralela. Adicionalmente, es habitual que los programadores centren sus esfuerzos en aquellas instrucciones que pueden ser paralelizadas, sin considerar el resto del código, a menudo ignorando la importancia de las partes secuenciales. Por ello, esta tesis también evalúa y analiza diversas estrategias software con el objetivo de conseguir mejoras adicionales en el rendimiento del código en infraestructuras HPC. Las técnicas propuestas permiten aumentar la eficiencia de forma fácil y sencilla, posibilitando que los programadores obtengan destacables mejoras de rendimiento con cambios menores en sus códigos. Con todo lo anterior se consigue que incluso usuarios noveles puedan hacer un uso más apropiado y eficiente de los recursos computacionales, disminuyendo los problemas inherentes al aprendizaje de la programación paralela.

Experts from multiple branches of science face challenges in scientific, technical or industrial projects that require the use of High- Performance Computing (HPC). However, the development of algorithms and programs that correctly use this type of infrastructure requires a great deal of previous knowledge that many of these users do not have. Thus, it is common for scientists and researchers to spend too much time developing and correctly executing their algorithms causing their code to be inefficient. Consequently, one of the main objectives of this doctoral thesis is to solve the problems identified above by proposing a transcompiler (source-to-source compiler) for the automatic parallelization of sequential codes, with which it will be possible to achieve better performance and efficiency in the executions, as well as select the correct planning strategy for each code making parallel programming easier. Additionally, it is common for programmers to focus their efforts on those instructions that can be parallelized without taking into account the efficiency of the rest of the code, often ignoring the important effect that sequential parts have on execution times. For this reason, this thesis also evaluates and analyzes diverse software strategies in order to achieve additional improvements in the code in HPC infrastructures. The proposed techniques increase efficiency in an easy and simple way allowing programmers to obtain remarkable performance improvements with only minor changes in their code. Given all the above, it is possible that even new users can make more appropriate and efficient use of computational resources, reducing the problems inherent to the learning of parallel programming.