数据挖掘原理、算法与应用PDF电子书下载

第1章 概述 1

1.1 从数据中获取知识 1

1.2 数据挖掘的基本概念 2

1.3 数据挖掘的发展历程 2

1.4 数据挖掘的功能和数据挖掘系统的分类 4

1.4.1 分类与回归 4

1.4.2 聚类分析 4

1.4.3 关联规则 5

1.4.4 时序模式 5

1.4.5 异常检测 6

1.4.6 数据挖掘系统的分类 6

1.5 数据挖掘的过程 6

1.5.1 数据挖掘的一般流程 7

1.5.2 跨行业数据挖掘标准过程 9

1.6 数据挖掘与其他学科的关系 12

1.6.1 数据挖掘与数据库知识发现 12

1.6.2 数据挖掘与数据库查询 13

1.6.3 数据挖掘与统计分析 13

1.6.4 数据挖掘与数据仓库 14

1.6.5 数据挖掘与联机分析处理 15

1.6.6 数据挖掘与人工智能、专家系统、机器学习 15

1.7 数据挖掘的应用和发展趋势 17

1.7.1 商业的数据挖掘 17

1.7.2 金融业的数据挖掘 17

1.7.3 欺诈侦测中的数据挖掘 18

1.7.4 DNA数据分析中的数据挖掘 18

1.7.5 电信业中的数据挖掘 19

1.7.6 科学和统计数据挖掘 20

1.7.7 数据挖掘系统和软件 21

1.7.8 数据挖掘的发展趋势 22

1.8 小结 23

1.9 习题 24

第2章 数据存储 25

2.1 关系数据集 25

2.2 数据仓库 27

2.2.1 数据仓库的概念和特点 27

2.2.2 数据仓库的数据组织 29

2.2.3 数据仓库的关键技术 32

2.2.4 数据仓库与数据挖掘的关系 34

2.3 NoSQL数据库 35

2.3.1 NoSQL概念与理论 35

2.3.2 NoSQL数据模型 37

2.3.3 NoSQL与关系数据库 38

2.4 分布式文件系统 40

2.4.1 分布式文件系统的历史 40

2.4.2 分布式文件系统的体系结构 44

2.4.3 谷歌文件系统（GoogleFS） 46

2.4.4 Hadoop分布式文件系统（HDFS） 53

2.5 小结 59

2.6 习题 60

第3章 数据预处理 61

3.1 数据预处理的必要性 61

3.2 数据清理 62

3.2.1 缺失数据处理方法 62

3.2.2 噪声数据平滑技术 63

3.2.3 时间相关数据的处理 64

3.3 数据集成 66

3.3.1 实体识别与匹配 67

3.3.2 冗余和相关分析 67

3.3.3 元组重复数据的检测 70

3.3.4 冲突数据的检测与处理 70

3.4 数据转换 70

3.4.1 数据标准化 70

3.4.2 数据泛化 71

3.5 数据归约 73

3.5.1 数据立方体聚集 73

3.5.2 维度归约 74

3.5.3 数据压缩 75

3.5.4 数值归约 77

3.6 数据离散化 81

3.6.1 分箱方法 81

3.6.2 直方图分析 82

3.6.3 基于熵的离散化 82

3.6.4 ChiMerge技术 83

3.6.5 人工划分分段 85

3.7 特征提取、选择和构造 87

3.7.1 特征提取 87

3.7.2 特征选择 89

3.7.3 特征构造 92

3.8 小结 92

3.9 习题 93

第4章 数据相似度与异常检测 94

4.1 相似度度量 94

4.1.1 对象与属性类型 94

4.1.2 相似度度量的定义 96

4.1.3 由距离度量变换而来的相似度度量 96

4.1.4 属性之间的相似度度量 97

4.1.5 对象之间的相似度度量 98

4.2 传统度量方法 98

4.2.1 二值属性的相似度度量 98

4.2.2 欧氏距离 99

4.2.3 余弦距离 100

4.2.4 Mahalanobis距离 101

4.2.5 Jaccard距离 102

4.2.6 海明距离 102

4.3 大数据度量方法 102

4.3.1 文档的Shingling 103

4.3.2 局部敏感散列算法 106

4.4 异常检测 110

4.4.1 基于统计的检测方法 113

4.4.2 基于距离的检测方法 120

4.4.3 基于密度的检测方法 123

4.4.4 基于聚类的检测方法 125

4.4.5 基于分类的检测方法 130

4.4.6 高维数据中的异常点检测 131

4.5 小结 134

4.6 习题 134

第5章 数据分类和预测 136

5.1 分类和预测的基本概念 136

5.1.1 准备数据 137

5.1.2 分类和预测方法的评估标准 138

5.2 决策树分类 138

5.2.1 ID3算法生成决策树 139

5.2.2 C4.5 算法生成决策树 144

5.2.3 CART算法和Gini指标 149

5.2.4 决策树归纳的可扩展性 152

5.2.5 数据仓库与决策树 153

5.2.6 决策树和决策规则的局限性 155

5.3 贝叶斯分类 156

5.3.1 贝叶斯定理 156

5.3.2 朴素贝叶斯分类 156

5.3.3 贝叶斯信念网络 159

5.3.4 训练贝叶斯信念网络 160

5.4 神经网络 161

5.4.1 多层前馈神经网络 161

5.4.2 定义神经网络的拓扑结构 162

5.4.3 后向传播 162

5.4.4 后向传播和可理解性 165

5.5 其他分类方法 167

5.5.1 基于关联的分类方法 167

5.5.2 K-最近邻分类 168

5.5.3 基于案例推理 169

5.5.4 遗传算法 169

5.5.5 粗糙集方法 170

5.5.6 模糊集合方法 170

5.6 预测算法 171

5.6.1 预测算法分类 171

5.6.2 预测算法选择 172

5.6.3 线性和多元回归 173

5.6.4 非线性回归 174

5.6.5 其他回归模型 175

5.7 分类预测应用实例 175

5.7.1 样本选取 176

5.7.2 建立预测模型 176

5.7.3 模型评估 178

5.7.4 实用价值 178

5.8 小结 178

5.9 习题 179

第6章 数据聚类分析 180

6.1 基本概念 180

6.1.1 对聚类分析的要求 180

6.1.2 聚类分析方法分类 181

6.2 划分聚类算法 182

6.2.1 K-means算法（基于质心的技术） 182

6.2.2 K-medoids算法（基于代表对象的技术） 183

6.3 层次聚类算法 185

6.3.1 BIRCH算法 186

6.3.2 CURE算法 187

6.3.3 ROCK算法 188

6.3.4 Chameleon算法 189

6.4 基于密度的聚类算法 191

6.4.1 DBSCAN算法 191

6.4.2 OPTICS算法 193

6.4.3 DENCLUE算法 195

6.5 基于网格的聚类算法 197

6.5.1 STING算法 197

6.5.2 WaveCluster算法 198

6.5.3 CLIQUE算法 200

6.6 基于模型的聚类算法 201

6.6.1 EM算法 202

6.6.2 COBWEB算法 203

6.6.3 SOM算法 205

6.7 聚类评估 205

6.7.1 估计聚类趋势 206

6.7.2 确定簇数 206

6.7.3 测定聚类质量 207

6.8 聚类分析应用实例 209

6.8.1 问题理解与提出 209

6.8.2 数据收集与选择 210

6.8.3 数据预处理 210

6.8.4 应用K-means聚类算法建模 210

6.9 小结 211

6.10 习题 212

第7章 数据关联分析 213

7.1 数据关联分析的基本概念 213

7.2 频繁项集产生 214

7.2.1 先验原理 215

7.2.2 Apriori算法的频繁项集产生 216

7.2.3 支持度计数 220

7.2.4 计算复杂度 222

7.3 规则产生 222

7.3.1 基本步骤 223

7.3.2 Apriori算法中规则的产生 223

7.4 频繁项集的紧凑表示 224

7.4.1 最大频繁项集 224

7.4.2 闭频繁项集 225

7.5 产生频繁项集的其他方法 226

7.5.1 项集格遍历 226

7.5.2 事务数据集的表示 228

7.6 FP-Growth算法 229

7.6.1 FP树构造 229

7.6.2 频繁项集产生 231

7.7 关联评估 233

7.7.1 兴趣度客观度量 233

7.7.2 多个二元变量的度量 237

7.7.3 倾斜支持度分布的影响 237

7.8 关联分析应用实例 239

7.8.1 关联分析学生成绩 239

7.8.2 数据处理 240

7.8.3 算法的应用 240

7.8.4 挖掘结果的分析 241

7.9 小结 241

7.10 习题 242

第8章 性能评估和提升 243

8.1 评分函数 243

8.1.1 预测性评分函数 243

8.1.2 描述性评分函数 247

8.1.3 一致性评价 247

8.2 成本评价 249

8.2.1 成本评价曲线 249

8.2.2 Cost-Sensitive学习 252

8.3 复杂度评估 254

8.4 验证 255

8.4.1 交叉验证 255

8.4.2 Bootstrap 256

8.4.3 模型比较 256

8.5 性能提升 257

8.5.1 效率提升 257

8.5.2 准确率提升 261

8.6 小结 266

8.7 习题 266

第9章 复杂数据挖掘 268

9.1 文本数据挖掘 268

9.1.1 文本数据预处理 269

9.1.2 文本数据挖掘技术 270

9.1.3 文本数据挖掘的应用 271

9.2 图像数据挖掘 272

9.2.1 图像数据的特点和挖掘技术现状 273

9.2.2 图像数据预处理 274

9.2.3 图像数据挖掘技术 275

9.2.4 图像数据挖掘的应用 278

9.3 语音识别挖掘 279

9.3.1 语音数据特点及挖掘技术现状 280

9.3.2 语音信号预处理 280

9.3.3 语音识别技术 282

9.3.4 语音识别技术的应用 284

9.4 视频数据挖掘 284

9.4.1 视频数据特点及挖掘技术现状 285

9.4.2 视频数据预处理 286

9.4.3 视频数据挖掘技术 286

9.4.4 视频数据挖掘的应用 288

9.5 网络拓扑挖掘 290

9.5.1 拓扑发现的技术现状及网络数据的采集 290

9.5.2 基于挖掘技术的网络拓扑发现 293

9.6 网络舆情挖掘 296

9.6.1 舆情研究发展现状及舆情特点 297

9.6.2 网络舆情数据预处理 298

9.6.3 网络舆情挖掘技术 299

9.7 推荐系统 303

9.7.1 推荐系统发展现状 304

9.7.2 相关技术 304

9.7.3 推荐系统 308

9.8 空间数据挖掘 309

9.8.1 空间数据的特点 310

9.8.2 空间数据预处理 310

9.8.3 空间数据挖掘技术 311

9.8.4 空间数据挖掘工具 315

9.9 数据流挖掘 316

9.9.1 数据流的特点 316

9.9.2 数据流预处理 317

9.9.3 数据流挖掘技术 317

9.9.4 数据流挖掘技术的应用 318

9.10 小结 319

9.11 习题 319

参考文献 321