| Title: | 面向MapReduce的数据处理流程开发方法 |
| Author: | 易小华
; 刘杰
; 叶丹
|
| Keyword: | MapReduce
; 数据处理流程
; 模型驱动
; Hadoop平台
|
| Source: | 计算机科学与探索
|
| Issued Date: | 2011
|
| Issue: | 2, Pages:161-169 | | Department: | 中国科学院软件研究所软件工程技术中心;中国科学院研究生院;中国科学技术大学计算机科学与技术系
|
| Abstract: | 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。 |
| Content Type: | 期刊论文
|
| URI: | http://ir.iscas.ac.cn/handle/311060/13839
|
| Appears in Collections: | 软件工程技术研究开发中心 _期刊论文
|
| File Name/ File Size |
Content Type |
Version |
Access |
License |
|
|---|
| 面向MapReduce的数据处理流程开发方法.pdf（1146KB） | -- | -- | 限制开放 | -- | 联系获取全文 |
|
| Recommended Citation: | |
易小华,刘杰,叶丹. 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索,2011-01-01(2):161-169.
|
|
|
