Estudio e implementación de infraestructuras para el tratamiento masivo de datos científico/astronómicos

Abstract

Actualmente vivimos en una época de expansión del conocimiento científico/astronómico, el estudio de lo que sucede fuera de nuestro planeta Tierra alimenta nuestra curiosidad y condiciona enormemente nuestras vidas, nuestro futuro y en definitiva nuestra manera de avanzar como ser humano. El estudio detallado de ciertas zonas del universo nos proporciona grandes conocimientos, formas y métodos de predecir el comportamiento futuro que afecta directamente a nuestra calidad de vida. Se presenta a continuación un estudio sobre el uso, implementación y comparación de las distintas infraestructuras necesarias para el tratamiento masivo de datos científico/astronómicos ofrecidos por la sonda espacial SOHO de la NASA, la cual observa el Sol desde 1996, brindando una cantidad enorme de datos de importancia sobre el progreso de la actividad solar que tanto interesa en la actualidad, ya que la radiación solar afecta a todos los instrumentos digitales, tanto dentro como fuera de la atmósfera terrestre. Es de suma importancia almacenar toda la información en estructuras ágiles, escalables, potentes y de fácil manipulación para poder albergar datos y funciones que procesen toda la información almacenada con el menor coste y en el menor tiempo posible. En este proyecto se ha realizado un estudio detallado de las infraestructuras necesarias para albergar los datos y métodos, se ha comparado con distintas bases de datos SQL y NO SQL y dentro de estas últimas, distintas opciones, eligiendo la más apta. Se han evaluado distintas maneras de procesar la información haciendo uso del lenguaje Python, usando un solo hilo y varios hilos, comparando el coste en tiempo del procesamiento. También se ha comparado el tiempo con distintos tamaños de muestra de ficheros FITS, comparando los resultados obtenidos con los distintos métodos y en distintas máquinas. Además, se ha implementado un caso de pruebas completo donde se recoge toda la información relevante del estudio, se comparan los resultados obtenidos usando distintos métodos y se predice el tiempo y coste de cómputo tanto en local como en remoto cuando la muestra aumenta significativamente de tamaño, dando una estimación aproximada del esfuerzo requerido cuando la complejidad aumenta.