第一部分 机器学习概念篇 3
第1章 机器学习基础 3
1.1 机器学习概述 3
1.1.1 机器学习的概念 3
1.1.2 机器学习的发展史 4
1.1.3 机器学习的用途 5
1.1.4 机器学习、数据挖掘及人工智能的关系 5
1.2 机器学习基本术语 6
1.3 机器学习任务及算法分类 8
1.4 如何学习和运用机器学习 9
1.4.1 软件平台的选择 9
1.4.2 机器学习应用实现流程 11
1.5 数据预处理 12
1.5.1 数据初步选取 13
1.5.2 数据清理 13
1.5.3 数据集成 13
1.5.4 数据变换 14
1.5.5 数据归约 15
参考文献 15
第二部分 MATLAB机器学习基础篇 19
第2章 MATLAB基础入门 19
2.1 MATLAB界面介绍 19
2.2 矩阵赋值与运算 20
2.3 m文件及函数实现与调用 23
2.4 基本流程控制语句 24
2.5 基本绘图方法 26
2.5.1 二维绘图函数的基本用法 26
2.5.2 三维绘图函数的基本用法 28
2.5.3 颜色与形状参数列表 29
2.5.4 图形窗口分割与坐标轴 30
2.6 数据文件导入与导出 32
参考文献 33
第3章 MATLAB机器学习工具箱 34
3.1 工具箱简介 34
3.2 分类学习器基本操作流程 35
3.3 分类学习器算法优化与选择 40
3.3.1 特征选择 40
3.3.2 选择分类器算法 41
3.4 工具箱分类学习实例 42
参考文献 49
第三部分 机器学习算法与MATLAB实践篇 53
第4章 K近邻算法 53
4.1 k近邻算法原理 53
4.1.1 k近邻算法实例解释 53
4.1.2 k近邻算法的特点 54
4.2 基于k近邻算法的算法改进 55
4.2.1 快速KNN算法 56
4.2.2 k-d树KNN算法 57
4.3 k近邻算法的MATLAB实践 58
参考文献 63
第5章 决策树 64
5.1 决策树算法原理 64
5.1.1 决策树算法基本原理 64
5.1.2 决策树算法的特点 66
5.1.3 决策树剪枝 66
5.1.4 分类决策树与回归决策树 68
5.2 基于决策树算法的算法改进 69
5.2.1 ID3决策树 69
5.2.2 C4.5 决策树 70
5.2.3 分类回归树 71
5.2.4 随机森林 72
5.3 决策树算法MATLAB实践 72
参考文献 76
第6章 支持向量机 77
6.1 支持向量机算法原理 77
6.1.1 支持向量机概述 77
6.1.2 支持向量机算法及推导 78
6.1.3 支持向量机核函数 85
6.2 改进的支持向量机算法 86
6.3 支持向量机算法的MATLAB实践 87
参考文献 89
第7章 朴素贝叶斯 90
7.1 贝叶斯定理 90
7.2 朴素贝叶斯分类 91
7.3 朴素贝叶斯实例分析 93
7.4 朴素贝叶斯分类算法的改进 94
7.4.1 半朴素贝叶斯分类模型 95
7.4.2 树增强朴素贝叶斯分类模型 96
7.4.3 贝叶斯网络 98
7.4.4 朴素贝叶斯树 100
7.4.5 属性加权朴素贝叶斯分类算法 100
7.5 朴素贝叶斯算法MATLAB实践 101
参考文献 104
第8章 线性回归 105
8.1 线性回归原理 105
8.1.1 简单线性回归 105
8.1.2 线性回归实例 106
8.2 多元线性回归 108
8.3 线性回归算法的MATLAB实践 109
参考文献 111
第9章 逻辑回归 112
9.1 逻辑回归原理 112
9.1.1 Sigmoid函数 112
9.1.2 梯度下降法 113
9.2 逻辑回归理论推导 114
9.2.1 逻辑回归理论公式推导 114
9.2.2 向量化 116
9.2.3 逻辑回归算法的实现步骤 117
9.2.4 逻辑回归的优缺点 118
9.3 逻辑回归算法的改进 118
9.3.1 逻辑回归的正则化 118
9.3.2 主成分改进的逻辑回归方法 119
9.4 逻辑回归的MATLAB实践 119
参考文献 126
第10章 神经网络 127
10.1 神经网络算法原理 127
10.1.1 神经网络工作原理 127
10.1.2 神经网络的特点 128
10.1.3 人工神经元模型 129
10.2 前向神经网络 131
10.2.1 感知器 131
10.2.2 BP算法 134
10.3 基于神经网络的算法拓展 140
10.3.1 深度学习 140
10.3.2 极限学习机 141
10.4 神经网络的MATLAB实践 143
参考文献 146
第11章 AdaBoost算法 147
11.1 集成学习方法简介 147
11.1.1 集成学习方法分类 147
11.1.2 集成学习Boosting算法 148
11.2 AdaBoost算法原理 149
11.2.1 AdaBoost算法思想 149
11.2.2 AdaBoost算法理论推导 150
11.2.3 AdaBoost算法的实现步骤 152
11.2.4 AdaBoost算法的特点 153
11.2.5 通过实例理解AdaBoost算法 153
11.3 AdaBoost算法的改进 154
11.3.1 RealAdaBoost算法 154
11.3.2 GentleAdaBoost算法 155
11.3.3 LogitBoost算法 155
11.4 AdaBoost算法的MATLAB实践 156
参考文献 159
第12章 K均值算法 160
12.1 k均值算法原理 160
12.1.1 k均值算法基本原理 160
12.1.2 k均值算法的实现步骤 160
12.1.3 k均值算法实例 161
12.1.4 k均值算法的特点 164
12.2 基于k-means算法的算法改进 164
12.2.1 改善k值选取方式的k-means改进算法 164
12.2.2 改进初始聚类中心选择方式的k-means改进算法 165
12.3 k-means算法的MATLAB实践 167
参考文献 169
第13章 期望最大化算法 170
13.1 EM算法 170
13.1.1 EM算法思想 170
13.1.2 似然函数和极大似然估计 171
13.1.3 Jensen不等式 172
13.1.4 EM算法理论和公式推导 172
13.1.5 EM算法的收敛速度 174
13.1.6 EM算法的特点 175
13.2 EM算法的改进 175
13.2.1 Monte Carlo EM算法 175
13.2.2 ECM算法 176
13.2.3 ECME算法 177
13.3 EM算法的MATLAB实践 178
参考文献 183
第14章 K中心点算法 184
14.1 经典k中心点算法——PAM算法 184
14.1.1 PAM算法原理 184
14.1.2 PAM算法实例 185
14.1.3 PAM算法的特点 187
14.2 k中心点算法的改进 188
14.3 k中心点算法的MATLAB实践 188
参考文献 190
第15章 关联规则挖掘的Apriori算法 191
15.1 关联规则概述 191
15.1.1 关联规则的基本概念 191
15.1.2 关联规则的分类 193
15.2 Apriori算法原理 194
15.3 Apriori算法的改进 195
15.3.1 基于分片的并行方法 195
15.3.2 基于hash的方法 196
15.3.3 基于采样的方法 196
15.3.4 减少交易个数的方法 196
15.4 Apriori算法的MATLAB实践 196
参考文献 200
第16章 高斯混合模型 201
16.1 高斯混合模型原理 201
16.1.1 单高斯模型 201
16.1.2 高斯混合模型 202
16.1.3 模型的建立 204
16.1.4 模型参数的求解 205
16.2 GMM算法的MATLAB实践 206
16.2.1 生成一个高斯混合模型 206
16.2.2 拟合GMM 207
16.2.3 GMM聚类实例 209
16.3 GMM的改进及MATLAB实践 217
16.3.1 GMM的正则化 217
16.3.2 GMM中k的选择问题 219
16.3.3 GMM拟合的初始值选择问题 221
参考文献 224
第17章 DBSCAN算法 225
17.1 DBSCAN算法原理 225
17.1.1 DBSCAN算法的基本概念 225
17.1.2 DBSCAN算法原理 227
17.1.3 DBSCAN算法的实现步骤 228
17.1.4 DBSCAN算法的优缺点 228
17.2 DBSCAN算法的改进 229
17.2.1 DPDGA算法 229
17.2.2 并行DBSCAN算法 229
17.3 DBSCAN算法的MATLAB实践 230
参考文献 235
第18章 策略迭代和值迭代 236
18.1 基本概念 237
18.1.1 强化学习的基本模型 237
18.1.2 马尔可夫决策过程 237
18.1.3 策略 238
18.1.4 值函数 238
18.1.5 贝尔曼方程 239
18.2 策略迭代算法原理 240
18.3 值迭代算法原理 241
18.4 策略迭代和值迭代算法的MATLAB实践 242
参考文献 250
第19章 SARSA算法和Q学习算法 251
19.1 SARSA算法原理 251
19.2 SARSA算法的MATLAB实践 253
19.3 Q学习算法原理 259
19.4 Q学习算法的MATLAB实践 260
参考文献 263