Flame-MR: Framework MapReduce para computación en memoria
Software de computación distribuída baseado no modelo MapReduce para o procesamento eficiente de grandes conxuntos de datos.
Estado de protección da tecnoloxía
Rexistro de software: Flame-MR: Framework MapReduce para computación en memoria. Autores: Jorge Veiga Fachal, Roberto Rey Expósito, Guillermo López Taboada e Juan Touriño Domínguez. Número de solicitude C-387-2018. Asento rexistral 03/2019/226. Entidade titular: Universidade da Coruña. Data de presentación e efectos: 19/11/2018.
Que buscamos?
Búscanse posibles empresas e organizacións interesadas nesta tecnoloxía.
Facultade de Informática. CITIC
Descrición
Flame-MR é unha ferramenta paralela que permite procesar grandes cantidades de datos en contornos de computación clúster dunha forma eficiente e escalable.
O software baséase no modelo de programación MapReduce proposto por Google e popularizado polo proxecto de código aberto Apache Hadoop. De feito, Flame-MR é 100% compatible coas interfaces de programación de aplicacións (API) de Hadoop, polo que permite acelerar o rendemento de aplicacións xa existentes de forma totalmente transparente para o usuario, sen necesidade de modificar nin recompilar o seu código fonte: as clases Java de Hadoop son substituídas polas alternativas eficientes definidas en Flame-MR.
Publicación descritiva do software: Jorge Veiga, Roberto R. Expósito, Guillermo L. Taboada e Juan Touriño. Flame-MR: an event-driven architecture for MapReduce applications. Future Generation Computer Systems, 65, pp. 46-56, 2016. https://doi.org/10.1016/j.future.2016.06.006.
Valores engadidos
O desenvolvemento deste software ten a súa orixe nos problemas de rendemento das aplicacións Hadoop, causados principalmente polo uso excesivo de copias en memoria e operacións de E/S a disco. Flame-MR cambia o motor de procesamento de Hadoop baseado en disco por unha arquitectura dirixida por eventos que permite maximizar a computación en memoria e reducir así os tempos de execución das aplicacións.
Malia existiren solucións alternativas no ámbito dos macrodatos (big data) como Spark ou Flink, o código fonte das aplicacións Hadoop debe adaptarse ás novas API, o que pode supoñer un gran custo en termos de tempo e esforzo. Alén disto, en ocasións o código fonte das aplicacións non está dispoñible de forma pública, o que imposibilitaría a devandita adaptación. Flame-MR permite reducir os tempos de procesamento sen necesidade de modificar o código fonte escrito, polo que a súa implantación é inmediata e sen ningún custo de desenvolvemento.
Aplicacións por sector
Debido ao carácter transversal da tecnoloxía, podería aplicarse en todos aqueles campos que requiran o procesamento de inxentes cantidades de datos nun tempo razoable, xa sexa mediante o desenvolvemento dunha nova aplicación que faga uso do modelo MapReduce e a súa posterior execución con Flame-MR, ou ben para acelerar o rendemento dunha aplicación Hadoop xa existente.
Como exemplo representativo, Flame-MR aplicouse con éxito en bioinformática, onde se reduciron os tempos de execución de Hadoop até nun 77% no caso dunha aplicación que permite eliminar secuencias de ADN duplicadas en grandes conxuntos de datos xenómicos.
Grupo de investigación
-
- Grupo de Arquitectura de Computadoras
- (GAC)
Responsable
- Roberto Rey Expósito
- Jorge Veiga Fachal
- Juan Touriño Domínguez
- Guillermo López Taboada
Contacta con nós
-
-
Oficina de Transferencia de Resultados de Investigación
Edificio de Servizos Centrais de Investigación
Campus de Elviña, s/n
15071 A Coruña
-
Oficina de Transferencia de Resultados de Investigación
Última actualización
2019-07-16