第1章 数据清洗概述 1
1.1 数据清洗简介 1
1.1.1 数据科学过程 1
1.1.2 数据清洗定义 2
1.1.3 数据清洗任务 3
1.1.4 数据清洗流程 4
1.1.5 数据清洗环境 5
1.1.6 数据清洗实例说明 6
1.2 数据标准化 7
1.2.1 数据标准化概念 7
1.2.2 数据标准化常用方法 8
1.3 数据仓库简介 9
1.3.1 数据仓库定义 9
1.3.2 数据仓库组成要素 10
1.3.3 数据仓库分类 11
1.3.4 数据仓库相关技术 12
1.3.5 常用工具简介 13
1.4 习题 14
第2章 数据格式与编码 16
2.1 文件文本格式 16
2.1.1 常见文本格式 17
2.1.2 xls及xlsx文件格式 18
2.1.3 JSON文本格式 19
2.1.4 HTML和XML文本格式 19
2.2 数据编码 20
2.2.1 数据类型 21
2.2.2 数据类型间转换 25
2.2.3 字符编码 26
2.2.4 空值和乱码 28
2.3 数据转换 28
2.3.1 电子表格转换 29
2.3.2 RDBMS数据转换 30
2.4 习题 30
第3章 基本技术方法 31
3.1 ETL入门 31
3.1.1 ETL解决方案 31
3.1.2 ETL基本构成 33
3.1.3 ETL技术选型 35
3.2 技术路线 35
3.2.1 文本清洗路线 35
3.2.2 RDBMS清洗路线 36
3.2.3 Web内容清洗路线 36
3.3 ETL工具 37
3.3.1 ETL功能 37
3.3.2 开源ETL工具 38
3.4 ETL子系统 39
3.4.1 抽取 39
3.4.2 清洗和更正数据 39
3.4.3 数据发布 40
3.4.4 管理ETL 41
3.5 习题 41
第4章 数据清洗常用工具及基本操作 42
4.1 Microsoft Excel数据清洗基本操作 42
4.1.1 Excel数据清洗概述 42
4.1.2 Excel数据清洗 53
4.2 Kettle简介及基本操作 57
4.2.1 Kettle软件概述 57
4.2.2 Kettle基本操作 60
4.2.3 Kettle数据清洗实例操作 64
4.3 OpenRefine简介及基本操作 68
4.3.1 OpenRefine软件概述 69
4.3.2 OpenRefine基本操作 70
4.3.3 OpenRefine数据清洗实例操作 73
4.4 DataWrangler简介及基本操作 80
4.4.1 DataWrangler软件概述 80
4.4.2 DataWrangler基本操作 81
4.4.3 DataWrangler数据清洗实例操作 82
4.5 Hawk简介及基本操作 86
4.5.1 Hawk软件概述 86
4.5.2 Hawk基本操作 88
4.5.3 Hawk数据清洗实例操作 91
4.6 上机练习与实训 98
4.7 习题 103
第5章 数据抽取 104
5.1 文本文件抽取 104
5.1.1 制表符文本抽取 107
5.1.2 CSV文件抽取 111
5.2 Web数据抽取 114
5.2.1 HTML文件抽取 114
5.2.2 JSON数据抽取 116
5.2.3 XML数据抽取 120
5.3 数据库数据抽取 123
5.3.1 数据导入导出 123
5.3.2 ETL工具抽取 124
5.3.3 SQL到NoSQL抽取 127
5.4 上机练习与实训 135
5.5 习题 143
第6章 数据转换与加载 144
6.1 数据清洗转换 144
6.1.1 数据清洗 145
6.1.2 数据检验 151
6.1.3 错误处理 156
6.2 数据质量评估 161
6.2.1 数据评估指标 161
6.2.2 审计数据 163
6.3 数据加载 164
6.3.1 数据加载的概念 164
6.3.2 数据加载的方式 164
6.3.3 批量数据加载 165
6.3.4 数据加载异常处理 165
6.4 上机练习与实训 166
6.5 习题 173
第7章 采集Web数据实例 175
7.1 网页结构 175
7.1.1 DOM模型 175
7.1.2 正则表达式 178
7.2 网络爬虫 181
7.2.1 网络爬虫简介 181
7.2.2 网络爬虫异常处理 189
7.3 行为日志采集 190
7.3.1 用户实时行为数据采集 190
7.3.2 用户实时行为数据分析 193
7.4 上机练习与实训 195
7.5 习题 198
第8章 清洗RDBMS数据实例 199
8.1 准备工作 199
8.1.1 准备待清洗的数据集 200
8.1.2 搭建操作环境 200
8.1.3 数据导入MySQL 201
8.2 数据库数据清洗 205
8.2.1 缺失值清洗 205
8.2.2 格式内容清洗 209
8.2.3 逻辑错误清洗 214
8.2.4 非需求数据清洗 217
8.3 数据脱敏处理 218
8.4 习题 222
参考文献 223
附录A 大数据和人工智能实验环境 224
附录B Hadoop环境要求 234
附录C 名词解释 236