第一部分 基础知识 3
第1章 大数据的基本概念、特征与作用 3
1.1 背景和概要说明 3
1.2 大数据的基本概念和内涵 4
1.3 大数据的特征 5
1.4 大数据的重要作用 7
1.5 章节汇总 8
第2章 大数据发展状况 9
2.1 背景和概要说明 9
2.2 国外大数据发展状况 9
2.3 国内大数据现状 14
2.4 大数据发展趋势 21
2.5 章节汇总 22
第3章 大数据技术体系 23
3.1 背景和概要说明 23
3.2 NIST提出的大数据参考架构 23
3.3 国际标准化机构提出的大数据概念模型 24
3.4 大数据生命周期 25
3.5 大数据技术体系 26
3.6 大数据核心技术 28
3.7 章节汇总 32
第4章 大数据标准化之路 33
4.1 背景和概要说明 33
4.2 SC32大数据标准化情况 33
4.3 SG2大数据标准化工作情况 35
4.4 ITU大数据标准化工作情况 35
4.5 NIST标准化工作情况 35
4.6 国内标准化工作情况 36
4.7 大数据标准体系架构 37
4.8 章节汇总 39
第二部分 初级应用 43
第5章 相关工具简介 43
5.1 背景和概要说明 43
5.2 工具说明 43
5.3 数据分析、挖掘流程 44
5.4 数据分析、挖掘 49
5.5 章节汇总 49
第6章 了解数据 50
6.1 背景和概要说明 50
6.2 数据分析、挖掘的目的和局限 51
6.3 相关概念 51
6.4 数据的类型 54
6.5 与隐私和安全有关的说明 55
6.6 章节汇总 56
第7章 准备数据 57
7.1 背景和概要说明 57
7.2 应用CRISP数据分析、挖掘模型 57
7.3 数据收集 58
7.4 数据清理 60
7.5 动手练习 60
7.6 准备系统、导入数据 60
7.7 数据约简 75
7.8 处理不一致的数据 77
7.9 属性约简 80
第三部分 数据分析、挖掘模型和方法 85
第8章 相关知识 85
8.1 背景和概要说明 85
8.2 了解组织 85
8.3 了解数据 85
8.4 数据准备 86
8.5 建模 86
8.6 评估 89
8.7 部署 90
8.8 章节汇总 92
第9章 关联规则 93
9.1 背景和概要说明 93
9.2 了解组织 93
9.3 了解数据 94
9.4 数据准备 95
9.5 建模 99
9.6 评估 101
9.7 部署 104
9.8 章节汇总 104
第10章 K均值聚类 106
10.1 背景和概要说明 106
10.2 了解组织 106
10.3 了解数据 106
10.4 数据准备 107
10.5 建模 108
10.6 评估 110
10.7 部署 112
10.8 章节汇总 114
第11章 判别分析 115
11.1 背景和概要说明 115
11.2 了解组织 115
11.3 了解数据 116
11.4 数据准备 118
11.5 建模 122
11.6 评估 126
11.7 部署 128
11.8 章节汇总 129
第12章 线性回归 130
12.1 背景和概要说明 130
12.2 了解组织 130
12.3 了解数据 130
12.4 数据准备 131
12.5 建模 133
12.6 评估 134
12.7 部署 136
12.8 章节汇总 138
第13章 逻辑回归 140
13.1 背景和概要说明 140
13.2 了解组织 140
13.3 了解数据 141
13.4 数据准备 142
13.5 建模 144
13.6 评估 146
13.7 部署 149
13.8 章节汇总 151
第14章 决策树 152
14.1 背景和概要说明 152
14.2 了解组织 152
14.3 了解数据 153
14.4 数据准备 155
14.5 建模 159
14.6 评估 161
14.7 部署 163
14.8 章节汇总 164
第15章 神经网络 165
15.1 背景和概要说明 165
15.2 了解组织 165
15.3 了解数据 165
15.4 数据准备 168
15.5 建模 170
15.6 评估 170
15.7 部署 173
15.8 章节汇总 175
第16章 文本挖掘 176
16.1 背景和概要说明 176
16.2 了解组织 176
16.3 了解数据 177
16.4 数据准备 177
16.5 建模 186
16.6 评估 186
16.7 部署 194
16.8 章节汇总 195
第四部分 关联工作说明 199
第17章 评估和部署 199
17.1 背景和概要说明 199
17.2 交叉验证 200
17.3 章节汇总 206
第18章 数据分析、挖掘道德规范 207
18.1 背景和概要说明 207
18.2 道德框架和建议 209
18.3 总结 210