数据挖掘核心技术揭秘PDF电子书下载

第一部分 基础知识 2

第1章 引言 2

1.1 数据挖掘的含义 2

1.2 数据挖掘的演变过程 3

1.3 数据工具简介 4

1.3.1 Hadoop与MapReduce 5

1.3.2 Pig语言 8

1.3.3 MATLAB编程 9

1.3.4 SAS 9

1.3.5 WEKA 12

1.3.6 R语言编程 12

1.4 数据挖掘应用领域 13

1.5 小结 14

第2章 数学基础 15

2.1 概率统计 16

2.1.1 基本概念 16

2.1.2 随机变量及其分布 19

2.2 相似度 24

2.2.1 期望与方差 25

2.2.2 距离 27

2.2.3 相关系数 31

2.3 矩阵计算 34

2.4 最小二乘法 39

2.4.1 最小二乘法定义 39

2.4.2 回归 40

2.4.3 参数的最小二乘法估计 42

第3章 海量数据处理技术 46

3.1 索引技术 46

3.1.1 数据库索引 46

3.1.2 文本索引 49

3.2 海量数据处理技术 52

3.2.1 外排序 53

3.2.2 分布式处理 53

3.2.3 Bloom filter 54

3.2.4 常用技巧 55

第二部分 聚类 58

第4章 聚类 58

4.1 应用场景 58

4.1.1 语音区分 58

4.1.2 新闻分组 59

4.1.3 选定销售策略 59

4.1.4 交通事件预测 59

4.2 聚类技术 60

4.2.1 划分聚类 61

4.2.2 层次聚类 67

4.2.3 基于密度的聚类 70

4.2.4 基于网格的聚类 72

4.3 多元分析 72

4.3.1 主成分分析法 73

4.3.2 因子分析 83

4.3.3 对比分析 83

第5章 离群点挖掘技术 85

5.1 应用场景 85

5.1.1 异常交通事件检测 85

5.1.2 欺诈检测 85

5.1.3 入侵检测 86

5.1.4 异常气候检测 86

5.2 离群点挖掘技术 86

5.2.1 基于统计的离群点挖掘技术 87

5.2.2 基于邻近度的离群点挖掘技术 88

5.2.3 基于密度的离群点挖掘技术 89

5.2.4 基于聚类的离群点挖掘技术 92

5.2.5 高维数据的离群点检测算法 93

第三部分分 类 98

第6章 决策树 98

6.1 应用场景 98

6.1.1 病情诊断 98

6.1.2 信用卡欺诈检测 98

6.2 决策树技术 99

6.2.1 概述 99

6.2.2 技术实现 100

6.2.3 多分类决策树 104

6.2.4 参考实例 106

第7章 基于实例的学习 108

7.1 应用场景 108

7.1.1 机械装备的总体设计 108

7.1.2 对新的法律案件的推理 109

7.1.3 规划或调度问题 109

7.2 K近邻算法 110

7.3 K-D树 111

7.3.1 近邻的实现：K-D树 111

7.3.2 K-D树的构建 112

7.3.3 K-D树的最近邻搜索算法 113

第8章 支持向量机 115

8.1 应用场景 115

8.1.1 病情分类 115

8.1.2 动物分类 116

8.2 支持向量机技术 116

8.2.1 概述 116

8.2.2 技术实现 118

8.2.3 核函数 122

8.2.4 多类分类器 124

第9章 贝叶斯学习 126

9.1 应用场景 126

9.1.1 垃圾邮件过滤 126

9.1.2 手写文字识别 127

9.1.3 拼写检查 128

9.1.4 分词 128

9.1.5 语音识别 129

9.1.6 股票价格预测 129

9.1.7 病情诊断 129

9.1.8 选定销售策略 130

9.1.9 交通事件预测 130

9.2 贝叶斯学习技术 131

9.2.1 概述 131

9.2.2 技术实现 131

9.2.3 参考实例 135

第10章 人工神经网络 138

10.1 应用场景 138

10.1.1 信用卡欺诈检测 138

10.1.2 病情诊断 139

10.1.3 足球比赛预测 139

10.1.4 图像姿势识别 139

10.1.5 利用图像识别的自动驾驶 140

10.1.6 人脸识别 140

10.1.7 语音分类识别 141

10.2 人工神经网络技术 142

10.2.1 概述 142

10.2.2 技术实现 142

10.2.3 参考实例 145

第11章 遗传算法 152

11.1 应用场景 152

11.1.1 私人定制的电影 152

11.1.2 国际象棋学习 153

11.1.3 电路设计 154

11.1.4 机器人的模拟控制 154

11.1.5 函数设计 154

11.1.6 唐诗生成器 155

11.1.7 音乐生成器 155

11.2 遗传技术 155

11.2.1 概述 155

11.2.2 技术实现 158

11.2.3 参考实例：背包问题 166

第四部分回 归 170

第12章 卡尔曼算法 170

12.1 应用场景 170

12.1.1 股票价格预测 170

12.1.2 GPS定位预测 171

12.2 卡尔曼技术 171

12.2.1 卡尔曼算法定义 171

12.2.2 技术实现 172

12.2.3 参考实例：GPS定位 175

第五部分 应用 180

第13章 推荐系统 180

13.1 应用场景 181

13.1.1 歌曲推荐 181

13.1.2 QQ好友圈子的推荐功能 182

13.1.3 今日头条 183

13.1.4 淘宝商品推荐 184

13.1.5 Netflix电影推荐 184

13.1.6 豆瓣FM的推荐 185

13.1.7 为用户定制的广告 185

13.1.8 苹果APP排名的规则 186

13.2 推荐系统技术 186

13.2.1 协同过滤 187

13.2.2 基于内容的推荐 188

13.2.3 推荐系统的缺陷 189

13.2.4 潜在因子算法 190

13.2.5 参考实例：音乐推荐 193

附录A 数据挖掘技术总结 197