面向ETL过程的数据质量控制系统的设计与实现

	面向ETL过程的数据质量控制系统的设计与实现
其他题名	Design and Implementation of ETL Oriented Data Quality Control System
	黄飞
导师	叶丹
	2009-05-31
学位授予单位	中国科学院研究生院
学位	硕士
学位授予地点	中科院软件所5号楼6层会议室
关键词	数据集成，etl，数据质量，数据清洗，数据转换
摘要	ETL过程是一个从分布数据源(包括数据库、应用系统、文件系统等)抽取数据，进行转换、集成和传输，并最终加载到目标系统的过程。传统的ETL过程主要服务于数据仓库(Data Warehouse)，属于企业决策支持系统的一部分。随着数据集成技术的发展和轻量级的数据集成中间件的出现，ETL过程广泛应用于企业数据集成与数据交换系统。在ETL过程中，数据质量控制是一个极为重要的基本组件和功能，它对集成中的数据进行检测、转换、清洗，以防止“脏”数据进入目标系统。在ETL过程中如果缺少对数据质量的有效控制，就会导致数据集成项目无法圆满实现目标或彻底失败。针对ETL过程中存在的数据质量问题，设计并实现面向ETL过程的数据质量控制系统，是本文研究的重点。论文通过对ETL过程中各阶段可能产生的数据质量问题进行了分类，并对质量控制需求建模，提出一个面向ETL过程的数据质量控制框架，该框架通过对源端数据的分析来指导ETL的设计，通过灵活、可配置、可扩展的数据处理机制实现数据的过滤、转换与清洗，并支持对数据质量处理全过程进行监控。在该框架基础上，论文特别在灵活的数据处理机制、数据分析、数据过滤和数据清洗四个方面进行了探讨。在数据处理机制方面，提出了基于插件元模型的数据处理机制，该机制可以满足用户对数据过滤、数据转换与数据清洗等功能的各种定制需求，并具有较强的可扩展性；在数据分析方面，根据字段类型对数据进行分类统计，并针对大数据量统计分析问题，提出了可自动配置的不同数据统计策略；在数据过滤方面，通过将抽取数据的SQL语句重写的方式，过滤不满足完整性约束的元组；在数据清洗方法方面给出了一种利用统计信息动态确定属性相似度权重的方法，对基于字段的相似记录检测算法的领域无关算法进行了改进，提高了数据检测的准确性。在上述工作基础上，在数据集成中间件OnceDI中设计并实现了数据质量控制系统，并在设计中通过设计模式的应用增强系统的可扩展性。
学科领域	数据库
语种	中文
内容类型	学位论文
URI标识	http://ir.iscas.ac.cn/handle/311060/106
专题	软件工程技术研究开发中心
推荐引用方式 GB/T 7714	黄飞. 面向ETL过程的数据质量控制系统的设计与实现[D]. 中科院软件所5号楼6层会议室. 中国科学院研究生院,2009.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
面向ETL过程的数据质量控制系统的设计与（1964KB）			开放获取	使用许可	请求全文