大数据质量PDF电子书下载

第1章 理解数据质量 1

1.1 数据质量问题 2

1.1.1 数据质量带来的影响 2

1.1.2 影响数据质量的因素 4

1.2 数据质量概述 7

1.2.1 数据质量定义 7

1.2.2 大数据时代数据质量面临的挑战 8

1.3 数据质量与信息质量 10

1.3.1 从数据质量到信息质量的发展历程 11

1.3.2 数据质量与信息质量的区别与联系 12

参考文献 14

第2章 数据质量标准 17

2.1 ISO 8000国际标准 18

2.1.1 ISO 8000的历史与现状 18

2.1.2 ISO/TS 8000-100系列概述 20

2.1.3 ISO/TS 8000-100主数据质量 22

2.1.4 ISO 22745：2010概述 24

2.2 地理信息质量标准ISO 19100 28

2.2.1 地理信息数据质量 31

2.2.2 地理信息数据质量评价 33

2.3 统计数据质量标准 35

2.3.1 国际统计数据标准概述 35

2.3.2 IMF的数据公布通用标准（GDDS） 36

2.3.3 IMF的数据公布特殊标准（SDDS） 38

2.4 科学数据质量标准 39

2.4.1 科学数据标准规范 39

2.4.2 科学数据质量框架 43

参考文献 44

第3章 数据分类及数据模型 47

3.1 数据类型及分类 48

3.1.1 数据类型 48

3.1.2 数据分类 49

3.2 结构化数据模型 51

3.2.1 概念模型 51

3.2.2 逻辑模型 53

3.3 半结构化和非结构化数据模型 56

3.3.1 XML语言 57

3.3.2 半结构化数据模型——数据和数据质量（D2Q）模型 67

3.3.3 非结构化数据模型——四面体模型 71

参考文献 79

第4章 数据质量相关技术 81

4.1 数据集成 82

4.1.1 数据仓库的基本概念 82

4.1.2 数据仓库的体系架构 83

4.1.3 数据仓库的元数据 87

4.2 数据剖析 89

4.2.1 数据剖析的方法 89

4.2.2 数据剖析实例 92

4.3 数据清洁 95

4.3.1 数据清洁概述 95

4.3.2 “脏”数据的来源 96

4.3.3 数据清洁的原理与框架 97

4.3.4 数据清洁工具 100

4.3.5 大数据环境下的数据清洁 102

4.4 数据溯源 105

4.4.1 数据溯源的基本概念 105

4.4.2 数据溯源的分类 106

4.4.3 数据溯源模型 107

4.4.4 数据溯源的方法 109

4.4.5 数据溯源的应用 111

4.4.6 大数据溯源 111

参考文献 115

第5章 数据质量评估 121

5.1 数据质量维度 122

5.1.1 数据质量维度定义 122

5.1.2 常用的数据质量维度 123

5.1.3 其他的数据质量维度 126

5.1.4 质量维度度量 127

5.2 数据质量评估框架 130

5.2.1 DQAF框架 131

5.2.2 AIMQ框架 133

5.2.3 DQA框架 136

5.3 数据质量评估方法 137

5.3.1 定性评估 137

5.3.2 定量评估 138

5.3.3 综合评估 140

5.4 数据质量评估案例——媒体信息可信度质量评估 152

5.4.1 背景概述 152

5.4.2 媒体信息可信度评价指标体系 153

5.4.3 媒体信息可信度的综合评价模型 154

5.4.4 实验过程及结果分析 160

参考文献 163

第6章 数据质量管理 167

6.1 质量管理 168

6.1.1 质量管理发展历程 168

6.1.2 全面质量管理 170

6.2 数据质量管理概述 171

6.2.1 数据质量管理方法 172

6.2.2 数据质量知识库管理 173

6.2.3 MIT全面数据质量管理 175

6.3 数据质量管理团队建设 176

6.3.1 任命首席数据官 177

6.3.2 建立数据质量管理团队 178

6.4 质量管理成熟度模型 179

6.4.1 信息质量管理成熟度模型 180

6.4.2 数据质量管理成熟度模型 181

参考文献 184

第7章 位置大数据中的质量研究 187

7.1 概述 188

7.1.1 位置大数据的来源 188

7.1.2 位置大数据的应用领域 196

7.2 位置大数据面临的质量问题 198

7.2.1 GPS轨迹数据的质量问题 198

7.2.2 签到数据的质量问题 199

7.2.3 手机定位数据的质量问题 200

7.2.4 智能公交IC卡数据的质量问题 201

7.2.5 OSM地图数据的质量问题 202

7.3 位置大数据的质量评估模型 203

7.3.1 GPS轨迹数据的质量评估模型 203

7.3.2 签到数据的质量评估模型 205

7.3.3 手机定位数据的质量评估模型 206

7.3.4 OSM地图数据的质量评估模型 207

7.3.5 基于云平台的位置大数据质量评估系统 211

7.4 位置大数据质量控制 214

7.4.1 位置大数据清洁 214

7.4.2 位置大数据质量控制 215

7.4.3 OSM地图数据质量保证 217

参考文献 221