| 面向MapReduce的数据处理流程开发方法 |
| 易小华; 刘杰; 叶丹
|
| 2011
|
| 发表期刊 | 计算机科学与探索
 |
| 期号 | 2页码:161-169 |
| 摘要 | 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。 |
| 关键词 | Mapreduce
数据处理流程
模型驱动
Hadoop平台
|
| 部门归属 | 中国科学院软件研究所软件工程技术中心;中国科学院研究生院;中国科学技术大学计算机科学与技术系
|
| 内容类型 | 期刊论文
|
| URI标识 | http://ir.iscas.ac.cn/handle/311060/13839
|
| 专题 | 软件工程技术研究开发中心
|
推荐引用方式
GB/T 7714 |
易小华,刘杰,叶丹. 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索,2011(2):161-169.
|
| APA |
易小华,刘杰,&叶丹.(2011).面向MapReduce的数据处理流程开发方法.计算机科学与探索(2),161-169.
|
| MLA |
易小华,et al."面向MapReduce的数据处理流程开发方法".计算机科学与探索 .2(2011):161-169.
|
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论