Identificador persistente para citar o vincular este elemento:
http://hdl.handle.net/10662/17104
Registro completo de Metadatos
Campo DC | Valor | idioma |
---|---|---|
dc.contributor.author | Moreno Álvarez, Sergio | - |
dc.contributor.author | Paoletti Ávila, Mercedes Eugenia | - |
dc.contributor.author | Rico Gallego, Juan Antonio | - |
dc.contributor.author | Haut Hurtado, Juan Mario | - |
dc.date.accessioned | 2023-03-21T08:42:15Z | - |
dc.date.available | 2023-03-21T08:42:15Z | - |
dc.date.issued | 2022 | - |
dc.identifier.issn | 0920-8542 | - |
dc.identifier.uri | http://hdl.handle.net/10662/17104 | - |
dc.description | • Financiación Open Access por Acuerdo CRUE-CSIC con Springer Nature. | es_ES |
dc.description.abstract | Hoy en día, las aplicaciones de procesamiento de datos basadas en redes neuronales hacen frente al crecimiento de la cantidad de datos que hay que procesar y al aumento tanto de la profundidad como de la complejidad de las arquitecturas de las redes neuronales y, por tanto, del número de parámetros que hay que aprender. Las plataformas informáticas de alto rendimiento disponen de recursos informáticos rápidos, incluidos procesadores multinúcleo y unidades de procesamiento gráfico, para gestionar dicha carga computacional de las aplicaciones de redes neuronales profundas. Una técnica de optimización habitual consiste en distribuir la carga de trabajo entre los procesos desplegados en los recursos de la plataforma. Este enfoque se conoce como paralelismo de datos. Cada proceso, conocido como réplica, entrena su propia copia del modelo sobre una partición de datos disjunta. Sin embargo, la heterogeneidad de los recursos computacionales que componen la plataforma obliga a distribuir desigualmente la carga de trabajo entre las réplicas en función de sus capacidades computacionales, para optimizar el rendimiento global de la ejecución. Dado que la cantidad de datos a procesar es diferente en cada réplica, la influencia de los gradientes computados por las réplicas en la actualización global de parámetros debe ser diferente. Este trabajo propone una modificación del método de cálculo de gradientes que considera las diferentes velocidades de las réplicas, y por tanto, su cantidad de datos asignados. Los resultados experimentales se han llevado a cabo en plataformas heterogéneas de computación de alto rendimiento para un amplio rango de modelos y conjuntos de datos, mostrando una mejora en la precisión final respecto a las técnicas actuales, con un rendimiento comparable. | es_ES |
dc.description.abstract | Nowadays, data processing applications based on neural networks cope with the growth in the amount of data to be processed and with the increase in both the depth and complexity of the neural networks architectures, and hence in the number of parameters to be learned. High-performance computing platforms are provided with fast computing resources, including multi-core processors and graphical processing units, to manage such computational burden of deep neural network applications. A common optimization technique is to distribute the workload between the processes deployed on the resources of the platform. This approach is known as data-parallelism. Each process, known as replica, trains its own copy of the model on a disjoint data partition. Nevertheless, the heterogeneity of the computational resources composing the platform requires to unevenly distribute the workload between the replicas according to its computational capabilities, to optimize the overall execution performance. Since the amount of data to be processed is different in each replica, the influence of the gradients computed by the replicas in the global parameter updating should be different. This work proposes a modification of the gradient computation method that considers the different speeds of the replicas, and hence, its amount of data assigned. The experimental results have been conducted on heterogeneous high-performance computing platforms for a wide range of models and datasets, showing an improvement in the final accuracy with respect to current techniques, with a comparable performance. | es_ES |
dc.description.sponsorship | • Programa de investigación e innovación Horizonte 2020 de la Unión Europea. Subvención n. 754304 DEEP-EST • Ministerio de Ciencia e Innovación. Proyecto APRISA. Referencia PID2019-110315RB-I00 / AEI / 10.13039/501100011033), • Junta de Extremadura. Consejería de Economía, Ciencia y Agenda Digital y Fondo Europeo de Desarrollo General (FEDER). Ayuda GR21040 • Fundación BBVA. Beca Leonardo 2021 para Investigadores y Creadores Culturales | es_ES |
dc.format.extent | 15 p. | es_ES |
dc.format.mimetype | application/pdf | en_US |
dc.language.iso | eng | es_ES |
dc.publisher | Springer | es_ES |
dc.rights | Attribution-NonCommercial 4.0 International | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc/4.0/ | * |
dc.subject | Aprendizaje profundo | es_ES |
dc.subject | Redes neuronales profundas | es_ES |
dc.subject | Computación de alto rendimiento | es_ES |
dc.subject | Plataformas heterogéneas | es_ES |
dc.subject | Entrenamiento distribuido | es_ES |
dc.subject | Deep learning | es_ES |
dc.subject | Deep neural networks | es_ES |
dc.subject | High-performance computing | es_ES |
dc.subject | Heterogeneous platforms | es_ES |
dc.subject | Distributed training | es_ES |
dc.title | Heterogeneous gradient computing optimization for scalable deep neural networks | es_ES |
dc.type | article | es_ES |
dc.description.version | peerReviewed | es_ES |
europeana.type | TEXT | en_US |
dc.rights.accessRights | openAccess | es_ES |
dc.subject.unesco | 1203.04 Inteligencia Artificial | es_ES |
europeana.dataProvider | Universidad de Extremadura. España | es_ES |
dc.identifier.bibliographicCitation | Moreno-Álvarez, S., Paoletti, M.E., Rico-Gallego, J.A. et al. Heterogeneous gradient computing optimization for scalable deep neural networks. J Supercomput 78, 13455–13469 (2022). https://doi.org/10.1007/s11227-022-04399-2 | es_ES |
dc.type.version | publishedVersion | es_ES |
dc.contributor.affiliation | Universidad Complutense de Madrid | es_ES |
dc.contributor.affiliation | Universidad de Extremadura. Departamento de Ingeniería de Sistemas Informáticos y Telemáticos | es_ES |
dc.contributor.affiliation | Universidad de Extremadura. Departamento de Tecnología de los Computadores y de las Comunicaciones | es_ES |
dc.relation.publisherversion | https://doi.org/10.1007/s11227-022-04399-2 | es_ES |
dc.identifier.doi | 10.1007/s11227-022-04399-2 | - |
dc.identifier.publicationtitle | Journal of Supercomputing | es_ES |
dc.identifier.publicationfirstpage | 13455 | es_ES |
dc.identifier.publicationlastpage | 13469 | es_ES |
dc.identifier.publicationvolume | 78 | es_ES |
dc.identifier.e-issn | 1573-0484 | - |
dc.identifier.orcid | 0000-0002-1858-9920 | es_ES |
dc.identifier.orcid | 0000-0003-1030-3729 | es_ES |
dc.identifier.orcid | 0000-0002-4264-7473 | es_ES |
Colección: | DISIT - Artículos |
Archivos
Archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
s11227-022-04399-2.pdf | 1,8 MB | Adobe PDF | Descargar |
Este elemento está sujeto a una licencia Licencia Creative Commons