A distributed parallel algorithm based on low-rank and sparse representation for anomaly detection in hyperspectral images

Abstract

La detección de anomalías tiene por objeto separar los píxeles anómalos del fondo, y se ha convertido en una importante aplicación del procesamiento de imágenes hiperespectrales por teledetección. Los métodos de detección de anomalías basados en la representación de bajo rango y dispersión (LRASR) pueden detectar con precisión los píxeles anómalos. Sin embargo, con el importante aumento de volumen de los depósitos de imágenes hiperespectrales, esas técnicas consumen una cantidad significativa de tiempo (principalmente debido a la enorme cantidad de cálculos de matrices que intervienen). En este documento, proponemos un novedoso algoritmo paralelo distribuido (DPA) rediseñando los operadores clave del LRASR en términos del modelo MapReduce para acelerar el LRASR en las arquitecturas de computación en nube. Los operadores de computación independientes son explorados y ejecutados en paralelo en Spark. Específicamente, reconstituimos las imágenes hiperespectrales en un formato apropiado para el procesamiento eficiente de DPA, diseñamos la estrategia de almacenamiento optimizada y desarrollamos un mecanismo de pre-fusión para reducir la transmisión de datos. Además, también se propone una política de repartición para mejorar la eficiencia de DPA. Nuestros resultados experimentales demuestran que el recién desarrollado DPA alcanza velocidades muy altas al acelerar el LRASR, además de mantener precisiones similares. Además, nuestra propuesta de DPA muestra ser escalable con el número de nodos de computación y capaz de procesar grandes imágenes hiperespectrales que implican cantidades masivas de datos.

Anomaly detection aims to separate anomalous pixels from the background, and has become an important application of remotely sensed hyperspectral image processing. Anomaly detection methods based on low-rank and sparse representation (LRASR) can accurately detect anomalous pixels. However, with the significant volume increase of hyperspectral image repositories, such techniques consume a significant amount of time (mainly due to the massive amount of matrix computations involved). In this paper, we propose a novel distributed parallel algorithm (DPA) by redesigning key operators of LRASR in terms of MapReduce model to accelerate LRASR on cloud computing architectures. Independent computation operators are explored and executed in parallel on Spark. Specifically, we reconstitute the hyperspectral images in an appropriate format for efficient DPA processing, design the optimized storage strategy, and develop a pre-merge mechanism to reduce data transmission. Besides, a repartitioning policy is also proposed to improve DPA’s efficiency. Our experimental results demonstrate that the newly developed DPA achieves very high speedups when accelerating LRASR, in addition to maintaining similar accuracies. Moreover, our proposed DPA is shown to be scalable with the number of computing nodes and capable of processing big hyperspectral images involving massive amounts of data.