Flame-MR: Framework MapReduce para computación en memoria

Software de computación distribuida basado en el modelo MapReduce para el procesamiento eficiente de grandes conjuntos de datos.

Ámbito de conocimiento

  • Ingeniería y arquitectura

Estado de protección de la tecnología

Registro de software: Flame-MR: Framework MapReduce para computación en memoria. Autores: Jorge Veiga Fachal, Roberto Rey Expósito, Guillermo López Taboada y Juan Touriño Domínguez. Número de solicitud C-387-2018. Asiento registral 03/2019/226. Entidad titular: Universidad de A Coruña. Fecha de presentación y efectos: 19/11/2018.

¿Qué buscamos?

Se buscan posibles empresas y organizaciones interesadas en esta tecnología.

Facultad de Informática. CITIC

Descripción

Flame-MR es una herramienta paralela que permite procesar grandes cantidades de datos en entornos de computación clúster de una forma eficiente y escalable.

El software se basa en el modelo de programación MapReduce propuesto por Google y popularizado por el proyecto de código abierto Apache Hadoop. De hecho, Flame-MR es 100% compatible con las interfaces de programación de aplicaciones (API) de Hadoop, por lo que permite acelerar el rendimiento de aplicaciones ya existentes de forma totalmente transparente para el usuario, sin necesidad de modificar ni recompilar su código fuente: las clases Java de Hadoop son sustituidas por las alternativas eficientes definidas en Flame-MR.

Publicación descriptiva del software: Jorge Veiga, Roberto R. Expósito, Guillermo L. Taboada y Juan Touriño. Flame-MR: an event-driven architecture for MapReduce applications. Future Generation Computer Systems, 65, pp. 46-56, 2016. https://doi.org/10.1016/j.future.2016.06.006.

Valores añadidos

El desarrollo de este software tiene su origen en los problemas de rendimiento de las aplicaciones Hadoop, causados principalmente por el uso excesivo de copias en memoria y operaciones de E/S a disco. Flame-MR reemplaza el motor de procesamiento de Hadoop basado en disco por una arquitectura dirigida por eventos que permite maximizar la computación en memoria y reducir así los tiempos de ejecución de las aplicaciones.

Aunque existen soluciones alternativas en el ámbito de los macrodatos (big data) como Spark o Flink, el código fuente de las aplicaciones Hadoop debe adaptarse a las nuevas API, lo que puede suponer un gran coste en términos de tiempo y esfuerzo. Además, en ocasiones el código fuente de las aplicaciones no está disponible de forma pública, lo que imposibilitaría dicha adaptación. Flame-MR permite reducir los tiempos de procesamiento sin necesidad de modificar el código fuente escrito, por lo que su implantación es inmediata y sin ningún coste de desarrollo.

Aplicaciones por sector

Debido al carácter transversal de la tecnología, podría aplicarse en todos aquellos campos que requieran el procesamiento de ingentes cantidades de datos en un tiempo razonable, ya sea mediante el desarrollo de una nueva aplicación que haga uso del modelo MapReduce y su posterior ejecución con Flame-MR, o bien para acelerar el rendimiento de una aplicación Hadoop ya existente.

Como ejemplo representativo, Flame-MR se ha aplicado con éxito en bioinformática, donde se han reducido los tiempos de ejecución de Hadoop hasta en un 77% en el caso de una aplicación que permite eliminar secuencias de ADN duplicadas en grandes conjuntos de datos genómicos.

Construcción e ingeniería civil
Economía y finanzas
Producción industrial
TIC

Grupo de investigación

    • Grupo de Arquitectura de Computadores
    • (GAC)

Responsable

  • Roberto Rey Expósito
  • Jorge Veiga Fachal
  • Juan Touriño Domínguez
  • Guillermo López Taboada

Contacta con nosotros

Última actualización

2021-12-13