Flame-MR: Framework MapReduce para computación en memoria
Software de computación distribuida basado en el modelo MapReduce para el procesamiento eficiente de grandes conjuntos de datos.
Areas of knowledge
-
Engineering and architecture
Technology’s Protection Status
Registro de software: Flame-MR: Framework MapReduce para computación en memoria. Autores: Jorge Veiga Fachal, Roberto Rey Expósito, Guillermo López Taboada y Juan Touriño Domínguez. Número de solicitud C-387-2018. Asiento registral 03/2019/226. Entidad titular: Universidad de A Coruña. Fecha de presentación y efectos: 19/11/2018.
What are we looking for?
Se buscan posibles empresas y organizaciones interesadas en esta tecnología.
Facultad de Informática. CITIC
Description
Flame-MR es una herramienta paralela que permite procesar grandes cantidades de datos en entornos de computación clúster de una forma eficiente y escalable.
El software se basa en el modelo de programación MapReduce propuesto por Google y popularizado por el proyecto de código abierto Apache Hadoop. De hecho, Flame-MR es 100% compatible con las interfaces de programación de aplicaciones (API) de Hadoop, por lo que permite acelerar el rendimiento de aplicaciones ya existentes de forma totalmente transparente para el usuario, sin necesidad de modificar ni recompilar su código fuente: las clases Java de Hadoop son sustituidas por las alternativas eficientes definidas en Flame-MR.
Publicación descriptiva del software: Jorge Veiga, Roberto R. Expósito, Guillermo L. Taboada y Juan Touriño. Flame-MR: an event-driven architecture for MapReduce applications. Future Generation Computer Systems, 65, pp. 46-56, 2016. https://doi.org/10.1016/j.future.2016.06.006.
Added Value
El desarrollo de este software tiene su origen en los problemas de rendimiento de las aplicaciones Hadoop, causados principalmente por el uso excesivo de copias en memoria y operaciones de E/S a disco. Flame-MR reemplaza el motor de procesamiento de Hadoop basado en disco por una arquitectura dirigida por eventos que permite maximizar la computación en memoria y reducir así los tiempos de ejecución de las aplicaciones.
Aunque existen soluciones alternativas en el ámbito de los macrodatos (big data) como Spark o Flink, el código fuente de las aplicaciones Hadoop debe adaptarse a las nuevas API, lo que puede suponer un gran coste en términos de tiempo y esfuerzo. Además, en ocasiones el código fuente de las aplicaciones no está disponible de forma pública, lo que imposibilitaría dicha adaptación. Flame-MR permite reducir los tiempos de procesamiento sin necesidad de modificar el código fuente escrito, por lo que su implantación es inmediata y sin ningún coste de desarrollo.
Applications according to Sector
Debido al carácter transversal de la tecnología, podría aplicarse en todos aquellos campos que requieran el procesamiento de ingentes cantidades de datos en un tiempo razonable, ya sea mediante el desarrollo de una nueva aplicación que haga uso del modelo MapReduce y su posterior ejecución con Flame-MR, o bien para acelerar el rendimiento de una aplicación Hadoop ya existente.
Como ejemplo representativo, Flame-MR se ha aplicado con éxito en bioinformática, donde se han reducido los tiempos de ejecución de Hadoop hasta en un 77% en el caso de una aplicación que permite eliminar secuencias de ADN duplicadas en grandes conjuntos de datos genómicos.
Research Group
-
- Grupo de Arquitectura de Computadores
- (GAC)
Person in Charge
- Roberto Rey Expósito
- Jorge Veiga Fachal
- Juan Touriño Domínguez
- Guillermo López Taboada
Contact Us
-
-
Office of Transfer of Research Results
Building of Central Research Services
Campus de Elviña, s/n
15071 A Coruña
-
Office of Transfer of Research Results
Last Update
2021-12-13
