A distributed parallel algorithm based on low-rank and sparse representation for anomaly detection in hyperspectral images

DSpace/Manakin Repository

español português english

A distributed parallel algorithm based on low-rank and sparse representation for anomaly detection in hyperspectral images

Show simple item record

dc.contributor.author Zhang, Yi
dc.contributor.author Wu, Zebin
dc.contributor.author Sun, Ji
dc.contributor.author Zhu, Yaoqin
dc.contributor.author Liu, Jun
dc.contributor.author Zang, Qitao
dc.contributor.author Plaza Miguel, Antonio
dc.date.accessioned 2020-03-30T08:36:55Z
dc.date.available 2020-03-30T08:36:55Z
dc.date.issued 2018
dc.identifier.issn 1424-8220
dc.identifier.uri http://hdl.handle.net/10662/10490
dc.description.abstract La detección de anomalías tiene por objeto separar los píxeles anómalos del fondo, y se ha convertido en una importante aplicación del procesamiento de imágenes hiperespectrales por teledetección. Los métodos de detección de anomalías basados en la representación de bajo rango y dispersión (LRASR) pueden detectar con precisión los píxeles anómalos. Sin embargo, con el importante aumento de volumen de los depósitos de imágenes hiperespectrales, esas técnicas consumen una cantidad significativa de tiempo (principalmente debido a la enorme cantidad de cálculos de matrices que intervienen). En este documento, proponemos un novedoso algoritmo paralelo distribuido (DPA) rediseñando los operadores clave del LRASR en términos del modelo MapReduce para acelerar el LRASR en las arquitecturas de computación en nube. Los operadores de computación independientes son explorados y ejecutados en paralelo en Spark. Específicamente, reconstituimos las imágenes hiperespectrales en un formato apropiado para el procesamiento eficiente de DPA, diseñamos la estrategia de almacenamiento optimizada y desarrollamos un mecanismo de pre-fusión para reducir la transmisión de datos. Además, también se propone una política de repartición para mejorar la eficiencia de DPA. Nuestros resultados experimentales demuestran que el recién desarrollado DPA alcanza velocidades muy altas al acelerar el LRASR, además de mantener precisiones similares. Además, nuestra propuesta de DPA muestra ser escalable con el número de nodos de computación y capaz de procesar grandes imágenes hiperespectrales que implican cantidades masivas de datos. es_ES
dc.description.abstract Anomaly detection aims to separate anomalous pixels from the background, and has become an important application of remotely sensed hyperspectral image processing. Anomaly detection methods based on low-rank and sparse representation (LRASR) can accurately detect anomalous pixels. However, with the significant volume increase of hyperspectral image repositories, such techniques consume a significant amount of time (mainly due to the massive amount of matrix computations involved). In this paper, we propose a novel distributed parallel algorithm (DPA) by redesigning key operators of LRASR in terms of MapReduce model to accelerate LRASR on cloud computing architectures. Independent computation operators are explored and executed in parallel on Spark. Specifically, we reconstitute the hyperspectral images in an appropriate format for efficient DPA processing, design the optimized storage strategy, and develop a pre-merge mechanism to reduce data transmission. Besides, a repartitioning policy is also proposed to improve DPA’s efficiency. Our experimental results demonstrate that the newly developed DPA achieves very high speedups when accelerating LRASR, in addition to maintaining similar accuracies. Moreover, our proposed DPA is shown to be scalable with the number of computing nodes and capable of processing big hyperspectral images involving massive amounts of data. es_ES
dc.description.sponsorship • National Natural Science Foundation of China. Ayudas 71501096, 61502234, 61502250, 61471199, 61772274, 61872185 y 61802185, • Jiangsu Provincial Natural Science Foundation of China. Ayudas BK20150785, BK20180470 y BK20180018 • Fundamental Research Funds for the Central Universities (China). Ayudas 30916011325 y 30917015104 • Project funded by China Postdoctoral Science Foundation. Ayuda 2015M581801 • Ministerio de Economía y Competitividad. Proyecto TIN2015-63646-C5-5-R (I+D+i) es_ES
dc.format.extent 16 p. es_ES
dc.format.mimetype application/pdf en_US
dc.language.iso eng es_ES
dc.publisher MDPI es_ES
dc.rights Attribution 4.0 International *
dc.rights.uri http://creativecommons.org/licenses/by/4.0/ *
dc.subject Imágenes hiperespectrales es_ES
dc.subject Detección de anomalías es_ES
dc.subject Computación distribuida y paralela es_ES
dc.subject Nubes es_ES
dc.subject Hyperspectral images es_ES
dc.subject Anomaly detection es_ES
dc.subject Distributed and parallel computing es_ES
dc.subject Apache spark es_ES
dc.subject Clouds es_ES
dc.title A distributed parallel algorithm based on low-rank and sparse representation for anomaly detection in hyperspectral images es_ES
dc.type article es_ES
dc.description.version peerReviewed es_ES
europeana.type TEXT en_US
dc.rights.accessRights openAccess es_ES
dc.subject.unesco 3307 Tecnología Electrónica es_ES
europeana.dataProvider Universidad de Extremadura. España es_ES
dc.identifier.bibliographicCitation Zhang, Y.; Wu, Z.; Sun, J.; Zhang, Y.; Zhu, Y.; Liu, J.; Zang, Q. y Plaza Miguel, A. (2018). A distributed parallel algorithm based on low-rank and sparse representation for anomaly detection in hyperspectral images. Sensors 18, 11, 3627. ISSN 1424-8220. DOI: 10.3390/s18113627 es_ES
dc.type.version publishedVersion es_ES
dc.contributor.affiliation University of Science and Technology, Nanjing. China es_ES
dc.contributor.affiliation Universidad de Extremadura. Departamento de Tecnología de los Computadores y de las Comunicaciones es_ES
dc.relation.publisherversion https://doi.org/10.3390/s18113627 es_ES
dc.identifier.doi 10.3390/s18113627
dc.identifier.publicationtitle Sensors es_ES
dc.identifier.publicationissue 11 es_ES
dc.identifier.publicationfirstpage 1 es_ES
dc.identifier.publicationlastpage 16 es_ES
dc.identifier.publicationvolume 18, 3627 es_ES


Files in this item

Files Size Format View
s18113627.pdf 803.7Kb PDF View  Thumbnail

The following license files are associated with this item:

This item appears in the following Collection(s)

Show simple item record

Attribution 4.0 International Except where otherwise noted, this item's license is described as Attribution 4.0 International

Search DSpace


Browse

My Account

Statistics

Help

Redes sociales