Institutional Repository
| 面向MapReduce的数据处理流程开发方法 | |
| 易小华; 刘杰; 叶丹 | |
| 2011 | |
| Source | 计算机科学与探索
 |
| Issue | 2Pages:161-169 |
| English Abstract | 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。 |
| Keyword | Mapreduce 数据处理流程 模型驱动 Hadoop平台 |
| Department | 中国科学院软件研究所软件工程技术中心;中国科学院研究生院;中国科学技术大学计算机科学与技术系 |
| Content Type | 期刊论文 |
| URI | http://ir.iscas.ac.cn/handle/311060/13839 |
| Collection | 软件工程技术研究开发中心 |
| Recommended Citation GB/T 7714 | 易小华,刘杰,叶丹. 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索,2011(2):161-169. |
| APA | 易小华,刘杰,&叶丹.(2011).面向MapReduce的数据处理流程开发方法.计算机科学与探索(2),161-169. |
| MLA | 易小华,et al."面向MapReduce的数据处理流程开发方法".计算机科学与探索 .2(2011):161-169. |
| Files in This Item: | ||||||
| File Name/Size | DocType | Version | Access | License | ||
| 面向MapReduce的数据处理流程开发（1146KB） | 开放获取 | -- | Application Full Text | |||
Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.
Edit Comment