上篇 认识篇 1
第1章 绪论 1
1.1引例 1
1.2数据挖掘产生的背景及概念 3
1.2.1数据挖掘产生的背景 3
1.2.2数据挖掘概念 4
1.3数据挖掘任务及过程 5
1.3.1数据挖掘任务 5
1.3.2数据挖掘过程 5
1.4数据挖掘常用软件简介 6
1.5数据挖掘在商业领域中的应用 7
1.5.1市场营销 8
1.5.2交叉销售与交叉营销 9
1.5.3客户关系管理 10
1.5.4个性化推荐与个性化服务 11
1.5.5风险分析与控制 12
1.5.6欺诈行为检测和异常模式的发现 13
1.5.7供应链库存管理中的需求预测 14
1.5.8人力资源管理 15
1.6数据挖掘技术的前景 16
1.7本章小结 17
第2章 数据挖掘建模方法 19
2.1概述 19
2.2业务理解 22
2.3数据理解 22
2.4数据准备 23
2.5建模 25
2.5.1成功建立预测模型的注意要点 25
2.5.2如何建立有效的预测模型 27
2.6评估 29
2.7部署 30
2.8本章小结 30
中篇 技术篇 33
第3章 聚类分析 33
3.1概述 33
3.2相似性度量 34
3.2.1数据及数据类型 34
3.2.2属性之间的相似性度量 35
3.2.3对象之间的相似性度量 37
3.3 k-means算法及其改进 39
3.3.1 k-means算法 39
3.3.2 k-means聚类算法的改进 41
3.4一趟聚类算法 46
3.4.1算法描述 46
3.4.2聚类阈值的选择策略 47
3.5层次聚类算法 48
3.5.1概述 48
3.5.2 BIRCH算法 49
3.5.3两步聚类算法 51
3.6 SOM算法 53
3.6.1 SOM算法中网络的拓扑结构 53
3.6.2 SOM算法的聚类原理 54
3.7聚类算法评价 56
3.7.1监督度量 56
3.7.2非监督度量 57
3.8综合例子 57
3.9本章小结 59
第4章 分类 62
4.1概述 63
4.2决策树分类方法 63
4.2.1决策树的基本概念 63
4.2.2决策树的构建 65
4.2.3 Hunt算法 69
4.2.4 C4.5分类算法 70
4.2.5 CART算法 72
4.2.6 C4.5与CART算法的区别 79
4.2.7决策树分类算法的优点 79
4.3朴素贝叶斯分类方法 79
4.3.1朴素贝叶斯算法的相关概念 79
4.3.2零条件概率问题的处理 80
4.3.3朴素贝叶斯算法的优缺点 81
4.4最近邻KNN分类方法 82
4.4.1最近邻分类的基本概念 83
4.4.2 KNN算法优缺点 83
4.4.3 KNN的扩展 83
4.5集成分类器 84
4.5.1集成分类器的过程描述 84
4.5.2构建集成分类器的方法 85
4.5.3集成分类器方法优缺点 85
4.6分类方法评价 85
4.7综合例子 87
4.8本章小结 88
第5章 关联规则分析 90
5.1概述 90
5.2关联规则分析基础 91
5.2.1基本概念 91
5.2.2基础分析方法 92
5.3 Apriori算法 94
5.3.1 Apriori性质 94
5.3.2 Apriori算法原理 94
5.3.3 Apriori算法演示示例 95
5.3.4 Apriori算法评价 96
5.4 CARMA算法 97
5.4.1 Phase Ⅰ阶段 97
5.4.2 Phase Ⅱ阶段 100
5.5产生关联规则 101
5.5.1一般关联规则的产生 101
5.5.2 Apriori算法关联规则的产生 101
5.5.3规则的评估标准 103
5.6关联规则扩展 104
5.6.1多层次关联规则 104
5.6.2多维度关联规则 105
5.6.3定量关联规则 105
5.6.4基于约束的关联规则 105
5.6.5序列模式挖掘 106
5.7综合例子 106
5.7.1概述 106
5.7.2案例分析流程 107
5.8本章小结 110
第6章 离群点检测 113
6.1概述 113
6.2基于相对密度的离群点检测方法 115
6.3基于聚类的离群点检测方法 119
6.3.1基于对象的离群因子方法 120
6.3.2基于簇的离群因子检测方法 122
6.3.3基于聚类的动态数据离群点检测 124
6.4离群点检测方法的评估 124
6.5本章小结 125
第7章 回归分析 126
7.1概述 126
7.2线性回归模型 127
7.2.1多元线性回归模型的表示 127
7.2.2多元线性回归模型的检验 128
7.3非线性回归 130
7.4逻辑回归 134
7.4.1二元Logistic回归模型 134
7.4.2 Logistic回归模型的系数估计 134
7.4.3 Logistic回归模型系数的解释 135
7.4.4显著性检验 136
7.4.5回归方程的拟合优度检验 137
7.5本章小结 141
第8章 为挖掘准备数据 144
8.1数据统计特性 145
8.1.1频率和众数 145
8.1.2百分位数 145
8.1.3中心度量 145
8.1.4散布程度度量 146
8.2数据预处理 146
8.2.1数据清理 147
8.2.2数据集成 150
8.2.3数据变换 150
8.2.4数据归约 154
8.3本章小结 155
下篇 案例篇 157
第9章 Clementine使用简介 157
9.1 Clementine概述 157
9.2 Clementine数据流操作 158
9.2.1生成数据流的基本过程 158
9.2.2节点操作 159
9.2.3数据流的其他管理 160
9.3输入、输出节点介绍 162
9.3.1数据源节点 162
9.3.2类型节点 166
9.3.3表节点 167
9.3.4数据导出节点 168
9.4数据预处理节点介绍 168
9.4.1过滤节点 169
9.4.2选择节点 169
9.4.3抽样节点 170
9.4.4平衡节点 170
9.4.5排序节点 171
9.4.6分区节点 171
9.4.7导出节点 172
9.4.8分箱节点 174
9.4.9特征选择节点 176
9.4.10数据审核节点 177
9.4.11直方图节点 178
9.4.12分布图节点 178
9.4.13 Web节点 179
9.5聚类节点介绍 180
9.5.1 K-Means节点 180
9.5.2 Kohonen节点 182
9.5.3 TwoStep节点 184
9.5.4 Anomaly节点 184
9.6分类节点介绍 186
9.6.1 C5.0节点 186
9.6.2 C＆R Tree节点 188
9.6.3 BayesNet节点 190
9.6.4二元分类器节点 192
9.6.5 Ensemble节点 194
9.6.6分析节点 195
9.6.7评估节点 196
9.7关联分析节点介绍 200
9.7.1 Apriori节点 200
9.7.2 CARMA节点 202
9.7.3 Sequence节点 203
9.8回归分析节点介绍 205
9.8.1线性回归节点 205
9.8.2逻辑回归节点 206
9.9 RFM分析节点介绍 207
9.9.1 RFM汇总节点 207
9.9.2 RFM分析节点 208
9.10本章小结 210
第10章 数据挖掘在电信业中的应用 211
10.1数据挖掘在电信业的应用概述 211
10.1.1客户细分 212
10.1.2客户流失预测分析 212
10.1.3客户社会关系挖掘 213
10.1.4业务交叉销售 214
10.1.5欺诈客户识别 214
10.2案例10-1：客户通话模式分析 215
10.2.1商业理解 215
10.2.2数据理解阶段 215
10.2.3数据准备阶段 217
10.2.4建模阶段 218
10.3案例10-2：客户细分与流失分析 223
10.3.1商业理解 223
10.3.2数据理解阶段 224
10.3.3数据准备阶段 225
10.3.4建模阶段 226
10.3.5评估阶段 230
10.4案例10-3：移动业务关联分析 232
10.4.1商业理解 232
10.4.2数据理解阶段 232
10.4.3数据准备阶段 233
10.4.4建模阶段 235
10.4.5模型评估 238
10.4.6部署阶段 239
10.5本章小结 240
第11章 数据挖掘在银行业中的应用 241
11.1数据挖掘在银行业中的应用概述 241
11.2案例11-1：信用风险分析 243
11.2.1商业理解 243
11.2.2数据理解 243
11.2.3数据准备阶段 245
11.2.4数据建模 246
11.2.5模型评估 247
11.2.6模型部署 248
11.3本章小结 249
第12章 数据挖掘在目录营销中的应用 250
12.1应用概述 250
12.1.1 RFM分析的基本原理 251
12.1.2 RFM模型的应用场景 254
12.2案例12-1：Charles读书俱乐部目录销售 254
12.2.1商业理解 255
12.2.2数据理解阶段 255
12.2.3数据准备阶段 256
12.2.4建模阶段 257
12.2.5评估阶段 260
12.2.6部署阶段 260
12.3案例12-2：旅游公司的目录销售 260
12.3.1商业理解 260
12.3.2数据理解阶段 261
12.3.3数据准备阶段 261
12.3.4建模阶段 261
12.3.5部署阶段 263
12.4本章小结 264
第13章 数据挖掘在零售业中的应用 265
13.1数据挖掘在零售业中的应用概述 265
13.2案例13-1：关联分析在超市购物篮分析中的应用 267
13.2.1商业理解 267
13.2.2数据理解 267
13.2.3数据准备 268
13.2.4建立模型 268
13.2.5模型评估和应用 271
13.2.6节假日和工作日的比较分析 272
13.3案例13-2：超市工作时间与人员配置分析 272
13.3.1商业理解 272
13.3.2数据理解与准备 273
13.3.3建立模型 273
13.3.4模型评估与部署 273
13.3.5不同时段的商品销售规律 274
13.3.6时段与商品的销售规律 274
13.4本章小结 275
第14章 数据挖掘在上市公司财务风险预警分析中的应用 276
14.1数据挖掘在上市公司财务风险预警分析中的应用概述 276
14.2案例14-1：上市公司财务报表舞弊识别 278
14.2.1商业理解 278
14.2.2数据理解与数据准备 278
14.2.3模型建立与评估 279
14.3案例14-2：上市公司财务困境预警 279
14.3.1商业理解阶段 280
14.3.2数据理解阶段 280
14.3.3数据准备阶段 281
14.3.4建模阶段 282
14.3.5部署实施 283
14.4本章小结 283
第15章 数据挖掘在电子商务中的应用 284
15.1数据挖掘在电子商务中的应用概述 284
15.2主要应用领域 285
15.2.1网络客户关系管理 285
15.2.2网站设计优化 286
15.2.3推荐系统 287
15.3案例15-1：基于关联分析的淘宝网推荐 289
15.3.1商业理解阶段 289
15.3.2数据理解阶段 289
15.3.3数据准备阶段 290
15.3.4数据建模 291
15.3.5模型评估 291
15.3.6部署阶段 292
15.4案例15-2：协同过滤技术在电影推荐上的简单应用 292
15.4.1协同过滤推荐简述 292
15.4.2商业理解阶段 293
15.4.3数据的理解、收集及准备 293
15.4.4建模阶段 294
15.4.5模型评估和部署 295
15.5本章小结 295
附录A 数据挖掘常用资源列表 296
参考文献 298