Implementación "cloud" de una red neuronal profunda para análisis de imágenes hiperespectrales

Abstract

Los avances en las técnicas de captación de imágenes hiperespectrales han dado lugar a un progresivo aumento de la resolución espectral de dichas imágenes. Esto genera la necesidad de desarrollar nuevas técnicas que permitan el almacenamiento, procesamiento y análisis de grandes volúmenes de datos hiperespectrales. La computación de altas prestaciones nos permite tratar estos datos mediante el uso de soluciones “cloud” distribuidas que dividen las tareas de procesamiento entre diferentes nodos de computo. Debido a su alta resolución espectral, las imágenes hiperespectrales se han convertido en un objetivo perfecto de este nuevo paradigma computacional. Para reducir el tamaño de almacenamiento y transferencia de dichas imágenes, en este trabajo se propone la implementación de un algoritmo no lineal de aprendizaje profundo, conocido como “autoencoder”. El “framework” distribuido “Apache Spark” es utilizado para interconectar los nodos de cómputo mediante una arquitectura maestro/esclavo. Esta nueva técnica ha sido evaluada sobre dos conjuntos de datos hiperespectrales, mostrando que la solución propuesta es muy adecuada para resolver este problema.

Recent hyperspectral image adcquisition techniques have led to a significative increase in the spectral resolution of the captured images. This creates the need to develop new techniques to process, store and analyze big remotely sensed data volumes. High perfomance computing, in general, and distributed cloud computing, in particular, offer the potential to analyze huge data volumes by distributing processing tasks over a set of computing nodes. Due to the large amount of spectral bands present in hyperspectral images, the involved processing techniques represent a perfect application example for this new computing paradigm. In order to find alternative ways to reduce the transfer and storage times in hyperspectral data processing, we have developed a new distributed implementation of a deep learning-based nonlinear algorithm known as autoencoder. The Apache Spark framework serves as the backbone of our distributed environment by interconnecting the available computing nodes using a master/slave architechture. Our newly developed technique has been tested on two hyperspectral datasets, obtaining highly encouraging results.