内容简介
概述
第一部分 概念和定义
第1章 数据
1.1 目的
1.2 数据
1.3 数据表示
1.4 数据事实
1.5 数据作为产品
1.6 数据作为分析的输入
1.7 数据和期望
1.8 信息
1.9 总结思考
第2章 数据、人员和系统
2.1 目的
2.2 企业或组织
2.3 IT与业务
2.4 数据生产者
2.5 数据消费者
2.6 数据代理
2.7 数据管家和数据管家工作
2.8 数据所有者
2.9 数据所有权和数据治理
2.10 IT,业务和数据所有者,终极版
2.11 数据质量项目组
2.12 利益相关者
2.13 系统和系统设计
2.14 总结思考
第3章 数据管理、模型和元数据
3.1 目的
3.2 数据管理
3.3 数据库、数据仓库、数据资产和数据集
3.4 源系统、目标系统和记录系统
3.5 数据模型
3.6 数据模型的类型
3.7 数据的物理特征
3.8 元数据
3.9 元数据是显性知识
3.10 数据链和信息生命周期
3.11 数据谱系和数据出处
3.12 总结思考
第4章 数据质量和测量
4.1 目的
4.2 数据质量
4.3 数据质量维度
4.4 测量
4.5 测量数据
4.6 数据质量测量和业务/IT鸿沟
4.7 有效测量的特点
4.8 数据质量评估
4.9 数据质量维度,DQAF测量类型,特定的数据质量指标
4.10 数据剖析
4.11 数据质量问题和数据管理问题
4.12 合理性检查
4.13 数据质量阈值
4.14 过程控制
4.15 联机数据质量的测量和监控
4.16 总结思考
第二部分 DQAF的概念和测量类型
第5章 数据质量评估框架概念
5.1 目的
5.2 DQAF解决的问题
5.3 数据质量期望和数据管理
5.4 DQAF的范围
5.5 DQAF质量维度
5.6 定义DQAF测量类型
5.7 元数据的要求
5.8 测量和评估分类的对象
5.9 测量的功能:收集、计算、比较
5.10 总结思考
第6章 DQAF测量类型
6.1 目的
6.2 数据模型的一致性
6.3 保证正确接收用于处理的数据
6.4 检查接收到的数据的状况
6.5 评估数据处理的结果
6.6 评估数据内容的有效性
6.7 评估数据内容的一致性
6.8 对放置联机测量的注释
6.9 跨表内容完整性定期测量
6.10 评估整体数据库内容
6.11 评估控制和测量
6.12 测量类型:综合清单
6.13 总结思考
第三部分 数据评估方案
第7章 初步数据评估
7.1 目的
7.2 初步评估
7.3 初步评估的输入
7.4 数据预期
7.5 数据剖析
7.6 列属性剖析
7.7 结构剖析
7.8 剖析现有数据资产
7.9 从剖析到评估
7.10 初步评估的可交付成果
7.11 总结思考
第8章 数据质量改进项目评估
8.1 目的
8.2 数据质量改进工作
8.3 改进项目中的测量
第9章 持续测量
9.1 目的
9.2 适于持续测量的情况
9.3 示例:医疗保健数据
9.4 持续测量的输入
9.5 重要性和风险
9.6 自动化
9.7 控制
9.8 定期测量
9.9 持续测量的交付成果
9.10 联机与定期测量的对比
9.11 总结思考
第四部分将DQAF运用到数据需求中
第10章 需求、风险和重要性
10.1 目的
10.2 业务需求
10.3 数据质量需求和期望的数据特征
10.4 数据质量需求和数据风险
10.5 影响数据重要性的因素
10.6 指定数据质量指标
10.7 总结思考
第11章 提问
11.1 目的
11.2 提问
11.3 了解项目
11.4 了解源系统
11.5 数据消费者的需求
11.6 数据的状况
11.7 数据模型、转换规则和系统设计
11.8 测量规范过程
11.9 总结思考
第五部分 数据质量战略
第12章 数据质量战略
12.1 目的
12.2 战略的概念
12.3 系统战略、数据战略和数据质量战略
12.4 数据质量战略和数据治理
12.5 信息生命周期中的决策点
12.6 数据质量战略一般注意事项
12.7 总结思考
第13章 数据质量战略的指令
13.1 目的
13.2 指令1:获得管理层对数据质量的承诺
13.3 指令2:把数据作为资产
13.4 指令3:应用资源来注重质量
13.5 指令4:建立数据的显性知识
13.6 指令5:把数据作为可测量和改进的流程的一个产品
13.7 指令6:认识到质量是由数据使用者定义的
13.8 指令7:解决造成数据问题的根本原因
13.9 指令8:测量数据质量,监控关键数据
13.10 指令9:保持数据生产者对自己的数据质量(和有关该数据的知识)负责
13.11 指令10:为数据使用者提供所需的数据使用知识
13.12 指令11:数据需要和用途将演进——为演进作规划
13.13 指令12:数据质量超越了数据本身——构建注重质量的文化
13.14 总结思考:使用现状评估
第六部分 DQAF详解
第14章 测量功能:收集、计算、比较
14.1 目的
14.2 测量功能:收集、计算、比较
14.3 收集原始测量数据
14.4 计算测量数据
14.5 将测量结果与过去的历史结果比较
14.6 统计
14.7 控制图:统计过程控制的主要手段
14.8 DQAF和统计过程控制
14.9 总结思考
第15章 DQAF测量逻辑模型的功能
15.1 目的
15.2 指标定义表和测量结果表
15.3 可选字段
15.4 分母字段
15.5 自动阈值
15.6 手动阈值
15.7 紧急阈值
15.8 手动或紧急阈值和结果表
15.9 其他系统需求
15.10 支持需求
15.11 总结思考
第16章 DQAF测量类型的各方面
16.1 目的
16.2 DQAF的各方面
16.3 本章的组织结构
16.4 测量类型#1:数据集的完备性——元数据和参照数据的充分性
16.5 测量类型#2:一个字段内的格式一致性
16.6 测量类型#3:跨表的格式一致性
16.7 测量类型#4:一个字段内默认值使用的一致性
16.8 测量类型#5:跨表的默认值使用的一致性
16.9 测量类型#6:用于处理的数据的交付及时性
16.10 测量类型#7:数据集的完备性——对于处理的可用性
16.11 测量类型#8:数据集的完备性——记录数与控制记录相比
16.12 测量类型#9:数据集的完整性——汇总数额字段数据
16.13 测量类型#10:数据集的完备性——将大小与过去的大小作比较
16.14 测量类型#11:记录的完备性——长度
16.15 测量类型#12:字段的完备性——不可为空的字段
16.16 测量类型#13:数据集的完整性——重复数据删除
16.17 测量类型#14:数据集的完整性——重复记录的合理性检查
16.18 测量类型#15:字段内容的完备性——来自数据源的默认值
16.19 测量类型#16:基于日期标准的数据集的完备性
16.20 测量类型#17:基于日期标准的数据集的合理性
16.21 测量类型#18:字段内容的完备性——接收到的数据丢失要处理的关键字段
16.22 测量类型#19:数据集的完备性——经过一个流程的记录数的平衡
16.23 测量类型#20:数据集的完备性——拒绝记录的理由
16.24 测量类型#21:经过一个流程的数据集的完备性——输入与输出的比率
16.25 测量类型#22:经过一个流程的数据集的完备性——数额字段的平衡
16.26 测量类型#23:字段内容的完备性——汇总的数额字段的比率
16.27 测量类型#24:字段内容的完备性——推导的默认值
16.28 测量类型#25:数据处理用时
16.29 测量类型#26:供访问的数据的及时可用性
16.30 测量类型#27:有效性检查,单字段,详细结果
16.31 测量类型#28:有效性检查,卷积汇总
16.32 测量类型#29:有效性检查,表内多列,详细结果
16.33 测量类型#30:一致性列剖析
16.34 测量类型#31:数据集内容的一致性,所表示的实体的不重复计数和记录数比率
16.35 测量类型#32:数据集内容的一致性,两个所表示的实体的不重复计数的比率
16.36 测量类型#33:一致性多列剖析
16.37 测量类型#34:表内时序与业务规则的一致性
16.38 测量类型#35:用时(小时、天、月等)一致性
16.39 测量类型#36:数额字段跨二级字段计算结果的一致性
16.40 测量类型#37:按聚合日期汇总的记录数的一致性
16.41 测量类型#38:按聚合日期汇总的数额字段数据的一致性
16.42 测量类型#39:父/子参照完整性
16.43 测量类型#40:子/父参照完整性
16.44 测量类型#41:有效性检查,跨表,详细结果
16.45 测量类型#42:跨表多列剖析一致性
16.46 测量类型#43:跨表的时序与业务规则的一致性
16.47 测量类型#44:跨表数额列计算结果的一致性
16.48 测量类型#45:按聚合日期汇总的跨表数额列的一致性
16.49 测量类型#46:与外部基准比较的一致性
16.50 测量类型#47:数据集的完备性——针对特定目的的总体充分性
16.51 测量类型#48:数据集的完备性——测量和控制的总体充分性
16.52 总结思考:了解你的数据
术语表
参考文献