| 一种基于缓存的并发ETL数据流程处理框架 |
| 其他题名 | a buffer-based parallel etl data flow processing framework
|
| 罗后启; 周伟; 叶丹; 于瑾维
|
| 2012
|
| 发表期刊 | Computer Applications and Software
 |
| ISSN | 1000-386X
|
| 卷号 | 29期号:1页码:88-91,144 |
| 其他摘要 | ETL(Extraction-Transformation-Loader)是企业内部和企业间信息资源交换和共享的关键技术。随着企业数据量的剧增, 如何提高数据处理能力和执行效率成为ETL需要解决的难题之一。提出一个基于缓存的并发ETL数据流程处理框架,该框架使用基于组件分类的缓存复用技术来 降低内存消耗和数据拷贝次数;同时使用一种并发的数据处理流程调度执行策略,该策略具有任务、流水线、数据处理多粒度并行的特点。该方法已在网驰平台ON CE DQ实现并得到验证。; ETL is a key technology for information exchanging and sharing inside an enterprise or among enterprises.With the rapid increase of enterprise data volumes,it has become one of the hard problems for ETL to solve how to improve the data processing capacity and execution efficiency.The paper proposes a buffer-based parallel ETL data flow processing framework.The Framework uses component classification based buffer reusing technology to save memory consumption and decrease data copying frequency.At the mean time a parallel data processing flow scheduling execution strategy is used,which bears such characteristics as tasking,pipelining,and data processing multi-granularity paralleling.The method has been realized and validated on ONCE DQ Platform. |
| 关键词 | Data Integration Data Flow Parallel Buffer Reuse
|
| 部门归属 | 罗后启, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 周伟, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 叶丹, 中国科学院软件研究所软件工程技术中心, 北京 100190, 中国. 于瑾维, 江苏熔盛重工有限公司, 如皋, 江苏 226532, 中国.
|
| 学科领域 | Computer Science
|
| 语种 | 中文
|
| 内容类型 | 期刊论文
|
| URI标识 | http://ir.iscas.ac.cn/handle/311060/14618
|
| 专题 | 软件工程技术研究开发中心
|
推荐引用方式
GB/T 7714 |
罗后启,周伟,叶丹,等. 一种基于缓存的并发ETL数据流程处理框架[J]. Computer Applications and Software,2012,29(1):88-91,144.
|
| APA |
罗后启,周伟,叶丹,&于瑾维.(2012).一种基于缓存的并发ETL数据流程处理框架.Computer Applications and Software,29(1),88-91,144.
|
| MLA |
罗后启,et al."一种基于缓存的并发ETL数据流程处理框架".Computer Applications and Software 29.1(2012):88-91,144.
|
修改评论