Heterogeneous gradient computing optimization for scalable deep neural networks

Abstract

Hoy en día, las aplicaciones de procesamiento de datos basadas en redes neuronales hacen frente al crecimiento de la cantidad de datos que hay que procesar y al aumento tanto de la profundidad como de la complejidad de las arquitecturas de las redes neuronales y, por tanto, del número de parámetros que hay que aprender. Las plataformas informáticas de alto rendimiento disponen de recursos informáticos rápidos, incluidos procesadores multinúcleo y unidades de procesamiento gráfico, para gestionar dicha carga computacional de las aplicaciones de redes neuronales profundas. Una técnica de optimización habitual consiste en distribuir la carga de trabajo entre los procesos desplegados en los recursos de la plataforma. Este enfoque se conoce como paralelismo de datos. Cada proceso, conocido como réplica, entrena su propia copia del modelo sobre una partición de datos disjunta. Sin embargo, la heterogeneidad de los recursos computacionales que componen la plataforma obliga a distribuir desigualmente la carga de trabajo entre las réplicas en función de sus capacidades computacionales, para optimizar el rendimiento global de la ejecución. Dado que la cantidad de datos a procesar es diferente en cada réplica, la influencia de los gradientes computados por las réplicas en la actualización global de parámetros debe ser diferente. Este trabajo propone una modificación del método de cálculo de gradientes que considera las diferentes velocidades de las réplicas, y por tanto, su cantidad de datos asignados. Los resultados experimentales se han llevado a cabo en plataformas heterogéneas de computación de alto rendimiento para un amplio rango de modelos y conjuntos de datos, mostrando una mejora en la precisión final respecto a las técnicas actuales, con un rendimiento comparable.

Nowadays, data processing applications based on neural networks cope with the growth in the amount of data to be processed and with the increase in both the depth and complexity of the neural networks architectures, and hence in the number of parameters to be learned. High-performance computing platforms are provided with fast computing resources, including multi-core processors and graphical processing units, to manage such computational burden of deep neural network applications. A common optimization technique is to distribute the workload between the processes deployed on the resources of the platform. This approach is known as data-parallelism. Each process, known as replica, trains its own copy of the model on a disjoint data partition. Nevertheless, the heterogeneity of the computational resources composing the platform requires to unevenly distribute the workload between the replicas according to its computational capabilities, to optimize the overall execution performance. Since the amount of data to be processed is different in each replica, the influence of the gradients computed by the replicas in the global parameter updating should be different. This work proposes a modification of the gradient computation method that considers the different speeds of the replicas, and hence, its amount of data assigned. The experimental results have been conducted on heterogeneous high-performance computing platforms for a wide range of models and datasets, showing an improvement in the final accuracy with respect to current techniques, with a comparable performance.