中国科学院软件研究所机构知识库
Advanced  
ISCAS OpenIR  > 软件工程技术研究开发中心  > 期刊论文
Subject: Computer Science
Title:
一种基于缓存的并发ETL数据流程处理框架
Alternative Title: a buffer-based parallel etl data flow processing framework
Author: 罗后启 ; 周伟 ; 叶丹 ; 于瑾维
Keyword: Data integration Data flow Parallel Buffer reuse
Source: Computer Applications and Software
Issued Date: 2012
Volume: 29, Issue:1, Pages:88-91,144
Department: 罗后启, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 周伟, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 叶丹, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 于瑾维, 江苏熔盛重工有限公司, 如皋, 江苏 226532, 中国.
Abstract: ETL(Extraction-Transformation-Loader)是企业内部和企业间信息资源交换和共享的关键技术。随着企业数据量的剧增, 如何提高数据处理能力和执行效率成为ETL需要解决的难题之一。提出一个基于缓存的并发ETL数据流程处理框架,该框架使用基于组件分类的缓存复用技术来 降低内存消耗和数据拷贝次数;同时使用一种并发的数据处理流程调度执行策略,该策略具有任务、流水线、数据处理多粒度并行的特点。该方法已在网驰平台ON CE DQ实现并得到验证。
English Abstract: ETL is a key technology for information exchanging and sharing inside an enterprise or among enterprises.With the rapid increase of enterprise data volumes,it has become one of the hard problems for ETL to solve how to improve the data processing capacity and execution efficiency.The paper proposes a buffer-based parallel ETL data flow processing framework.The Framework uses component classification based buffer reusing technology to save memory consumption and decrease data copying frequency.At the mean time a parallel data processing flow scheduling execution strategy is used,which bears such characteristics as tasking,pipelining,and data processing multi-granularity paralleling.The method has been realized and validated on ONCE DQ Platform.
Language: 中文
Content Type: 期刊论文
URI: http://ir.iscas.ac.cn/handle/311060/14618
Appears in Collections:软件工程技术研究开发中心 _期刊论文

Files in This Item:
File Name/ File Size Content Type Version Access License
一种基于缓存的并发ETL数据流程处理框架.pdf(766KB)----限制开放 联系获取全文

Recommended Citation:
罗后启,周伟,叶丹,等. 一种基于缓存的并发ETL数据流程处理框架[J]. Computer Applications and Software,2012-01-01,29(1):88-91,144.
Service
Recommend this item
Sava as my favorate item
Show this item's statistics
Export Endnote File
Google Scholar
Similar articles in Google Scholar
[罗后启]'s Articles
[周伟]'s Articles
[叶丹]'s Articles
CSDL cross search
Similar articles in CSDL Cross Search
[罗后启]‘s Articles
[周伟]‘s Articles
[叶丹]‘s Articles
Related Copyright Policies
Null
Social Bookmarking
Add to CiteULike Add to Connotea Add to Del.icio.us Add to Digg Add to Reddit
所有评论 (0)
暂无评论
 
评注功能仅针对注册用户开放,请您登录
您对该条目有什么异议,请填写以下表单,管理员会尽快联系您。
内 容:
Email:  *
单位:
验证码:   刷新
您在IR的使用过程中有什么好的想法或者建议可以反馈给我们。
标 题:
 *
内 容:
Email:  *
验证码:   刷新

Items in IR are protected by copyright, with all rights reserved, unless otherwise indicated.

 

 

Valid XHTML 1.0!
Copyright © 2007-2020  中国科学院软件研究所 - Feedback
Powered by CSpace