中国科学院软件研究所机构知识库
Advanced  
ISCAS OpenIR  > 软件工程技术研究开发中心  > 期刊论文
题名:
面向MapReduce的数据处理流程开发方法
作者: 易小华 ; 刘杰 ; 叶丹
关键词: MapReduce ; 数据处理流程 ; 模型驱动 ; Hadoop平台
刊名: 计算机科学与探索
发表日期: 2011
期: 2, 页:161-169
部门归属: 中国科学院软件研究所软件工程技术中心;中国科学院研究生院;中国科学技术大学计算机科学与技术系
摘要: 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。
内容类型: 期刊论文
URI标识: http://ir.iscas.ac.cn/handle/311060/13839
Appears in Collections:软件工程技术研究开发中心 _期刊论文

Files in This Item:
File Name/ File Size Content Type Version Access License
面向MapReduce的数据处理流程开发方法.pdf(1146KB)----限制开放-- 联系获取全文

Recommended Citation:
易小华,刘杰,叶丹. 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索,2011-01-01(2):161-169.
Service
Recommend this item
Sava as my favorate item
Show this item's statistics
Export Endnote File
Google Scholar
Similar articles in Google Scholar
[易小华]'s Articles
[刘杰]'s Articles
[叶丹]'s Articles
CSDL cross search
Similar articles in CSDL Cross Search
[易小华]‘s Articles
[刘杰]‘s Articles
[叶丹]‘s Articles
Related Copyright Policies
Null
Social Bookmarking
Add to CiteULike Add to Connotea Add to Del.icio.us Add to Digg Add to Reddit
所有评论 (0)
暂无评论
 
评注功能仅针对注册用户开放,请您登录
您对该条目有什么异议,请填写以下表单,管理员会尽快联系您。
内 容:
Email:  *
单位:
验证码:   刷新
您在IR的使用过程中有什么好的想法或者建议可以反馈给我们。
标 题:
 *
内 容:
Email:  *
验证码:   刷新

Items in IR are protected by copyright, with all rights reserved, unless otherwise indicated.

 

 

Valid XHTML 1.0!
Copyright © 2007-2017  中国科学院软件研究所 - Feedback
Powered by CSpace