τ-Lop: Scalably and accurately modeling contention and mapping effects in multi-corec clusters

Abstract

El modelado formal del coste de las primitivas de comunicación en MPI permite una representación independiente de la máquina de los algoritmos que las implementan, así como su comparación, análisis y la optimización de dichos algoritmos. Los métodos actuales derivan de LogP, un modelo concebido para predecir el coste de mensajes punto a punto sobre una red de computadoras monoprocesador. Conforme los supercomputadores actuales se construyen sobre placas con un número creciente de elementos de proceso accediendo a memorias jerárquicas, la comunicación intra-nodo adquiere relevancia. lognP ofrece una alternativa a LogP abstrayendo el modelado del hardware e incluyendo parámetros relacionados con los servicios de comunicaciones proporcionados a las librerías de comunicaciones como MPI. Sin embargo, no se ha probado su utilidad más allá del modelado de una simple comunicación punto a punto. El objetivo de este trabajo de tesis es encontrar un método que permita modelar técnicas de comunicación en memoria compartida, como segmentación de mensajes y colectivas no basadas en transmisiones punto a punto, que son sustancialmente diferentes a las transmisiones por red, y desvelar las razones de los problemas de los modelos actuales para predecir el coste de estas operaciones. Además, se aborda el modelado de comunicaciones basado en paso de mensajes por red, con el objetivo final de proporcionar una metodología de modelado que, tomando en cuenta la contienda de procesos en el acceso a los recursos, proporcione de forma precisa el coste de las operaciones de comunicación.

Formal modeling of the cost of MPI [1] primitives allows a machine independent representation, comparison and performance analysis of their underlying algorithms. Current accepted methods are all the off-springs of LogP, conceived to model the cost of inter-node point-to-point messages in networks of single-processor machines. As new supercomputers are built upon cheap commodity boards with a growing number of cores accessing hierarchical memories, intra-node communication becomes progressively more relevant. lognP is an alternative to LogP. It abstracts the modeling from the hardware and includes parameters related to the middleware, upon which are built the MPI implementations. However, it has not showed its utility beyond simple point-to-point transmissions modeling. The goal of the work is to find a method to model techniques for shared memory communication, such as message segmentation and collectives, not only those based on pointto-point operations, which are substantively different from their inter-node counterparts, and unveils the reasons for the poor fit of current models. As well, message-passing modeling of communications and collectives are addressed, with the final goal of provide a content-awareand accurate modeling methodology.