Meteo Big Data: Integración de datos espaciales meteorológicos para Data Mining utilizando almacenamiento NoSQL MongoDB

Abstract

El objetivo de este Trabajo Fin de Grado es conseguir una integración de los datos registrados por los satélites meteorológicos sobre las superficies, tanto marinas como oceánicas, utilizando para ello una distribución de base de datos NoSQL, que permita el acceso a ellos sin importar la procedencia o formato inicial. Dicha integración consiste en homogeneizar el almacenamiento de los datos provenientes de diversas fuentes, como pueden ser en este caso los satélites QuikSCAT y RapidSCAT, en un mismo almacén de datos, para el que se decidió utilizar MongoDB. Los datos con los que se va a trabajar tienen la característica de estar almacenados en distinto formato, como podremos observar en sucesivos apartados del documento y de recoger información en cuya densidad de toma varía según el satélite que los haya recogido. Inicialmente, deberán descargarse desde los repositorios de la NASA y, posteriormente, aplicar algoritmos de transformación que permitan la correcta carga en el sistema escogido para su persistencia. Finalmente, los datos serán preparados para realizar sobre ellos un refinamiento que permitirá discernir cuáles son óptimos para la aplicación de tareas de Data Mining y cuáles deben ser desechados sin tener que tratar continuamente con la información extraída de los satélites. Para conseguir llevar a cabo esta parte, se utilizará la plataforma de procesamiento Hadoop.

The objective of this work order degree is to achieve an integration of the data recorded by the meteorological satellites on surfaces, both marine and ocean, using for this purpose a distribution of NoSQL database, which allow access to them regardless of the origin or initial format. Such integration is to homogenize the storage of data from diverse sources, as they can be in this case the satellites QuikSCAT and RapidSCAT, in a same data store, for which it was decided to use MongoDB. The data you will be working with have the characteristic of being stored in a different format, as we observe in successive sections of the document and to collect information on whose density of takes varies according to the satellite you have collected. Initially, must be downloaded from the repositories of the NASA and subsequently apply transformation algorithms that allow the correct load on the system chosen for its persistence. Finally, the data shall be prepared to perform on them a refinement that will discern what are optimal for the implementation of tasks of Data Mining and what must be discarded without having to continuously seek with the information extracted from the satellites. To get to carry out this part, it will use the processing platform Hadoop.