Optimización de aplicaciones científicas y de aprendizaje automático en entornos de altas prestaciones heterogéneos

Abstract

El desarrollo de las plataformas de computación de alto rendimiento ha potenciado la aceleración y optimización de las aplicaciones de cálculo intensivo. Dado que estas aplicaciones consumen una gran cantidad de recursos y tiempo, su optimización ha sido objeto de investigación. En este tipo de plataformas, la optimización de estas aplicaciones se ha abordado mediante múltiples técnicas. En este sentido, el procesamiento distribuido es ampliamente utilizado para repartir la carga de trabajo entre todos los procesos desplegados en los diferentes dispositivos de cómputo que componen la plataforma. Generalmente, las aplicaciones distribuidas actuales suelen realizar un reparto homogéneo de la carga de trabajo sin tener en cuenta las características de los recursos en los que se ejecutan. Por lo tanto, es necesario adaptar la carga de trabajo en función de las capacidades de cada proceso. Para ello, es necesario modelar la heterogeneidad de los recursos de la plataforma. Los modelos analíticos de cómputo y comunicación se han utilizado tradicionalmente para establecer las capacidades de dichos recursos. En esta tesis, se proponen diferentes metodologías con el objetivo de mejorar el rendimiento de las aplicaciones de alto coste computacional en plataformas heterogéneas. Para ello es necesario caracterizar las capacidades computacionales de los procesos que intervienen en la ejecución de las aplicaciones, para posteriormente realizar una partición y distribución óptima. Nuestra propuesta ha sido evaluada mediante experimentos con kernels científicos comunes y aplicaciones basadas en redes neuronales, ilustrando así los beneficios de la propuesta.

The improvement of high-performance computing platforms has leveraged the acceleration and optimization of computationally intensive applications. Since these applications consume a large amount of resources and time, its optimization has been a key point of research. In high-performance computing platforms the optimization of these applications have been addressed using multiple techniques. In this sense, the workload distribution technique is widely used. This technique consists in the distribution of the workload between the processes deployed on the different computing devices that compose the platform. Current distributed applications usually perform a homogeneous workload partitioning between processes composing the application without taking into account the heterogeneous features of the resources in which they execute. As a consequence, non-optimal partitioning leads to longer execution times. Thus, a heterogeneous distribution according to the capabilities of each process is needed. In order to achieve an optimal workload distribution it is necessary to model the heterogeneity of the platform resources. The analytical computation and communication models have traditionally been used for modeling that resources capabilities. This thesis proposes different methodologies with the objective of improving the performance of high computational cost applications in heterogeneous platforms. The idea is to characterize the computational capabilities of the processes involved in the execution of the applications, and then perform a partition and distribution of the workload heterogeneously in terms of such capabilities. To evaluate our proposal, experiments with common scientific kernels and neural network based applications are performed to demonstrate the advantages of our proposal.