Model driven development applied to complex event processing for near real-time open data

Abstract

Hoy en día, se están produciendo datos como nunca antes, porque el uso de la Internet de las cosas, las redes sociales y la comunicación en general están aumentando exponencialmente. Muchos de estos datos, especialmente los de las administraciones públicas, se elaboran libremente utilizando el concepto de datos abiertos, en el que los datos se publican para mejorar su reutilización y transparencia. Inicialmente, los datos implicaban información que no se actualiza continuamente, como presupuestos, información turística, información de ocio, información de farmacias, etc. Este tipo de información no cambia durante grandes períodos de tiempo, como días, semanas o meses. Sin embargo, cuando se producen datos abiertos casi en tiempo real, como los sensores de la calidad del aire o los contadores de personas, faltan metodologías e instrumentos adecuados para identificarlos, consumirlos y analizarlos. En esta obra se presenta una metodología para abordar el análisis de las fuentes de datos abiertos mediante el desarrollo impulsado por modelos (MDD) y el procesamiento de eventos complejos (CEP), que ayudan a los usuarios a elevar el nivel de abstracción utilizado para gestionar y analizar las fuentes de datos abiertos. Esto significa que los usuarios pueden manejar tecnología heterogénea y compleja utilizando conceptos de dominio definidos por un modelo que podría utilizarse para generar un código específico. Así pues, esta metodología se apoya en un lenguaje específico del dominio (DSL) denominado OpenData2CEP, que incluye un metamodelo, una sintaxis gráfica concreta y una transformación de modelo a texto en plataformas específicas, como motores de procesamiento de eventos complejos. Por último, la metodología y el DSL se han aplicado a dos contextos casi en tiempo real: el análisis de la calidad del aire para las propuestas de los ciudadanos y el análisis de los datos de los terremotos.

Nowadays, data are being produced like never before because the use of the Internet of Things, social networks, and communication in general are increasing exponentially. Many of these data, especially those from public administrations, are freely o_ered using the open data concept where data are published to improve their reutilisation and transparency. Initially, the data involved information that is not updated continuously such as budgets, tourist information, o_ce information, pharmacy information, etc. This kind of information does not change during large periods of time, such as days, weeks or months. However, when open data are produced near to real-time such as air quality sensors or people counters, suitable methodologies and tools are lacking to identify, consume, and analyse them. This work presents a methodology to tackle the analysis of open data sources using Model-Driven Development (MDD) and Complex Event Processing (CEP), which help users to raise the abstraction level utilised to manage and analyse open data sources. That means that users can manage heterogeneous and complex technology by using domain concepts defined by a model that could be used to generate specific code. Thus, this methodology is supported by a domain-specific language (DSL) called OpenData2CEP, which includes a metamodel, a graphical concrete syntax, and a model-to-text transformation to specific platforms, such as complex event processing engines. Finally, the methodology and the DSL have been applied to two near real-time contexts: the analysis of air quality for citizens’ proposals and the analysis of earthquake data.