数据挖掘与知识发现PDF电子书下载

第1章　绪论 1

1.1　引言 1

1.2　KDD与数据挖掘 2

1.2.1　KDD定义 2

1.2.2　KDD过程 3

1.2.3　数据库技术发展与数据挖掘 4

1.3　数据挖掘的对象与环境 5

1.3.1　数据与系统特征 5

1.3.2　数据结构 6

1.3.3　数据库系统 7

1.4　数据挖掘方法与相关领域 9

1.4.1　数据挖掘相关领域 9

1.4.2　粗糙集 10

1.4.3　聚类 10

1.4.4　关联规则 11

1.4.5　决策树 11

1.4.6　模糊集 12

1.4.7　规则归纳 12

1.4.8　进化计算 13

1.5 KDD系统与应用 14

本章小结 16

习题1 16

第2章　关联规则 17

2.1 引言 17

2.2　关联规则基本模型 17

2.2.1　关联规则基本模型 17

2.2.2　Apriori算法 18

2.2.3　LIG算法 21

2.2.4　FP算法 27

2.3　多级关联规则与多维关联规则 30

2.3.1　多级关联规则 30

2.3.2　多维关联规则 32

2.4　关联规则价值衡量与发展 36

2.4.1　规则价值衡量 36

2.4.2　基于约束的关联规则 38

2.4.3　关联规则新进展 39

本章小结 41

习题2 42

第3章　聚类分析 43

3.1　聚类分析简介 43

3.2　聚类分析中的数据类型 45

3.3　划分方法 47

3.3.1　k-均值算法 47

3.3.2　k-中心点算法 48

3.3.3　EM算法 49

3.4　层次方法 51

3.4.1　凝聚的和分裂的层次聚类 51

3.4.2　利用层次方法进行平衡迭代归约和聚类 53

3.4.3　利用代表点聚类 54

3.4.4　采用动态建模技术的层次聚类算法 54

3.5　基于密度的方法 57

3.6　基于网格的方法 59

3.7　基于模型的聚类方法 62

3.8　孤立点分析 63

本章小结 64

习题3 64

第4章　决策树 66

4.1　引言 66

4.2　信息论 66

4.2.1　信息传输与数据挖掘 66

4.2.2　信息论主要概念 67

4.3　ID3算法 69

4.4　决策树的剪枝 76

4.4.1　预剪枝 77

4.4.2　后剪枝 77

4.4.3　决策树的性能评价 80

4.5　决策树算法的改进 80

4.5.1　二叉树决策算法 80

4.5.2　按增益比率估值的方法 81

4.5.3　按分类信息估值的方法 82

4.5.4　按划分距离估值的方法 82

4.6　C4.5算法 83

4.7　CART算法 84

4.8　SLIQ算法 86

4.9　决策树与数据预处理 87

4.9.1　数据概化与约简 87

4.9.2　抽样方法 88

4.9.3　维归约及特征子集的选取 88

4.9.4　冗余特征子集删除 89

4.9.5　离散化处理 90

4.9.6　改变数据结构 90

4.10　算法改进 91

4.10.1　多决策树综合技术 91

4.10.2　决策树的增量学习 92

本章小结 93

习题4 93

第5章　贝叶斯网络 94

5.1　贝叶斯网络基本概念 94

5.2　不确定性推理与联合概率分布 96

5.3 贝叶斯网络中的独立关系 98

5.3.1 条件独立 99

5.3.2 有向分离和条件独立 100

5.3.3 因果影响独立 100

5.3.4 环境独立 101

5.4 贝叶斯网络学习 102

5.4.1 结构学习 102

5.4.2 搜索算法 105

5.4.3 基于约束的方法 107

5.4.4 参数学习 109

5.5 贝叶斯网络分类器 110

5.5.1 朴素贝叶斯网络分类器 111

5.5.2 半朴素贝叶斯分类器与选择贝叶斯分类器 114

5.5.3 树增广朴素贝叶斯网络分类器 115

5.5.4 广义朴素贝叶斯网络分类器 117

本章小结 118

习题5 118

第6章 人工神经网络 120

6.1 人工神经元及人工神经网络模型 120

6.1.1 M-P模型 120

6.1.2 人工神经元的形式化描述 121

6.1.3 神经网络的分类 122

6.1.4 人工神经网络的学习方式 123

6.2 前向神经网络 123

6.2.1 感知器 123

6.2.2 多层前向神经网络的BP算法 124

6.2.3 径向基函数神经网络 129

6.3 反馈神经网络 130

6.3.1 前向神经网络与反馈神经网络的比较 130

6.3.2 反馈神经网络模型 130

6.3.3 离散型Hopfield神经网络 131

6.3.4 连续型Hopfield神经网络 133

6.3.5 Boltzmann机 134

6.4 自组织竞争神经网络模型 135

6.5 基于人工神经网络的数据挖掘 138

本章小结 138

习题6 138

第7章 支持向量机 139

7.1 学习机器泛化性能的界 139

7.1.1 VC维 140

7.1.2 Rn中有向超平面对点的打散 141

7.1.3 VC维和参数个数 141

7.1.4 通过最小化h最小化界 142

7.1.5 实例 142

7.1.6 结构风险最小化 143

7.2 线性支持向量机 143

7.2.1 可分情形 143

7.2.2 Karush-Kuhn-Tucker条件 145

7.2.3 测试 145

7.2.4 非可分情形 146

7.3 非线性支持向量机 147

7.3.1 硬间隔非线性支持向量机 148

7.3.2 软间隔非线性支持向量机 148

7.3.3 v-SVM分类器 149

7.3.4 处理不平衡数据的加权SVM 150

7.3.5 多类别SVM分类 150

7.3.6 Mercer条件及Mercer定理 151

7.3.7 非线性支持向量机实例 151

7.4 支持向量机的VC维 152

7.5 支持向量机应用 152

7.5.1 手写体数字识别 152

7.5.2 文本分类 153

7.5.3 生物信息学中的SVM应用 154

本章小结 156

习题7 156

第8章 粗糙集 157

8.1 近似空间 157

8.1.1 近似空间与不可分辨关系 157

8.1.2 知识与知识库 158

8.2 近似与粗糙集 160

8.2.1 近似与粗糙集的基本概念 160

8.2.2 粗糙集的基本性质 161

8.3 粗糙集的特征描述 162

8.3.1 近似精度 162

8.3.2 粗糙集隶属函数 163

8.3.3 拓扑特征 164

8.4 知识约简 164

8.4.1 约简与核 164

8.4.2 相对约简和相对核 165

8.5 知识的依赖性 167

8.6 信息系统 168

8.6.1 信息系统的定义 168

8.6.2 分辨矩阵与分辨函数 169

8.7 决策表 170

8.8 决策规则 172

8.9 扩展的粗糙集模型 173

8.9.1 可变精度粗糙集模型 173

8.9.2 相似模型 174

本章小结 175

习题8 175

第9章 模糊集 177

9.1 模糊集定义与隶属函数 177

9.1.1 模糊集定义与隶属函数 177

9.1.2 模糊集合的表示法 179

9.2 模糊集的基本运算 180

9.3 分解定理与扩展原理 182

9.4 模糊集的特征 184

9.5 模糊集的度量 185

9.5.1 模糊度 185

9.5.2 模糊集间的距离 186

9.5.3 模糊集的贴近度 187

9.6 模糊关系 187

9.6.1 模糊关系定义 187

9.6.2 模糊关系的运算与性质 188

9.6.3 模糊等价关系与模糊相似关系 190

9.7 模糊聚类分析 190

9.7.1 模糊划分 191

9.7.2 模糊相似系数的标定方法 191

9.7.3 模糊聚类分析 193

9.7.4 传递闭包法 195

9.7.5 最大树法 197

9.7.6 模糊C-均值聚类 198

9.8 模糊集与粗糙集 200

本章小节 201

习题9 201

第10章 模型选择与模型评估 202

10.1 模型的过拟合 202

10.2 没有天生优越的分类器 204

10.3 模型、模型选择和模型评估 207

10.4 简单划分和交叉验证 210

10.5 自助法 211

10.6 Occam剃刀 211

10.7 最小描述长度准则 212

10.8 信息准则 213

10.8.1 Akaike信息准则 214

10.8.2 Bayesian信息准则 214

10.9 比较分类器的方法 215

10.9.1 估计准确率的置信区间 215

10.9.2 比较两个模型的性能 216

10.9.3 比较两种分类法的性能 217

10.10 聚类评估 218

10.10.1 假设检验 219

10.10.2 聚类评估中的假设检验 221

10.10.3 相对准则 224

本章小结 224

习题10 224

第11章 数据预处理与可视化技术 225

11.1 数据清理 225

11.1.1 填补空缺值 225

11.1.2 消除噪声数据 226

11.1.3 实现数据一致性 227

11.2 数据集成与转换 227

11.2.1 数据集成 227

11.2.2 数据转换 228

11.3 数据归约与浓缩 229

11.3.1 数据立方体聚集 229

11.3.2 维归约 230

11.3.3 数据压缩 230

11.3.4 数值归约 232

11.4 概念分层 235

11.4.1 概念分层的概念 235

11.4.2 概念分层的类型 236

11.4.3 数值数据的概念分层与离散化 236

11.4.4 分类数据的概念分层 238

11.5 可视化技术概述 238

11.5.1 可视化技术分类 239

11.5.2 可视化技术在数据挖掘中的应用 241

11.6 过程可视化 243

11.7 数据可视化 245

11.7.1 折线图 245

11.7.2 复合饼图 245

11.7.3 散点图 247

11.7.4 盒图 247

11.7.5 平行坐标法 248

11.7.6 圆环分段表示 249

11.8 结果可视化 250

11.8.1 关联规则 251

11.8.2 分类 252

11.8.3 聚类 255

本章小结 255

习题11 256

第12章 数据挖掘工具与产品 257

12.1 数据挖掘标准 257

12.1.1 数据挖掘标准化概述 257

12.1.2 数据挖掘过程标准 258

12.1.3 数据挖掘接口标准 259

12.1.4 数据挖掘的语言标准 261

12.1.5 数据挖掘的Web标准 265

12.1.6 数据挖掘标准的应用与未来发展趋势 266

12.2 数据挖掘工具的介绍 268

12.2.1 数据挖掘工具发展过程概述 268

12.2.2 数据挖掘工具简介 269

12.2.3 WEKA 270

12.2.4 SPSS 283

12.3 数据挖掘产品分析 292

12.3.1 通用数据挖掘产品 292

12.3.2 专用挖掘产品 293

本章小结 294

习题12 294

附录 中英文术语对照 295

参考文献 301