绪论 1
第1讲 K-means 11
1.1 基本原理 11
1.2 算法改进 13
1.3 仿真实验 16
1.4 算法特点 18
第2讲 KNN学习 20
2.1 基本原理 20
2.2 算法改进 23
2.3 仿真实验 24
2.4 算法特点 26
第3讲 回归学习 28
3.1 基本原理 28
3.1.1 参数回归 29
3.1.2 非参数回归 30
3.1.3 半参数回归 30
3.2 算法改进 30
3.2.1 线性回归模型 30
3.2.2 多项式回归模型 31
3.2.3 主成分回归模型 32
3.2.4 自回归模型 33
3.2.5 核回归模型 33
3.3 仿真实验 37
3.3.1 回归学习流程 37
3.3.2 基于回归学习的直线边缘提取 37
3.3.3 基于回归学习的图像插值 39
3.4 算法特点 41
第4讲 决策树学习 42
4.1 基本原理 42
4.1.1 分类与聚类 42
4.1.2 决策树 43
4.1.3 信息增益的度量标准 43
4.1.4 信息增益度量期望的熵降低 44
4.1.5 悲观错误剪枝PEP 46
4.1.6 基本决策树算法 47
4.2 算法改进 47
4.2.1 ID3算法 47
4.2.2 C4.5算法 48
4.2.3 SLIQ算法 49
4.2.4 SPRINT算法 49
4.3 仿真实验 50
4.3.1 用于学习布尔函数的ID3算法伪代码 50
4.3.2 C4.5算法构造决策树的伪代码 51
4.4 算法特点 53
第5讲 Random Forest学习 54
5.1 基本原理 54
5.1.1 决策树 55
5.1.2 Bagging集成学习 55
5.1.3 Random Forest方法 56
5.2 算法改进 57
5.3 仿真实验 58
5.3.1 Random Forest分类与回归流程 58
5.3.2 Forest-RI和Forest-RC 59
5.3.3 基于Random Forest的头部姿态估计 59
5.4 算法特点 60
第6讲 贝叶斯学习 62
6.1 基本原理 62
6.2 算法改进 63
6.2.1 朴素贝叶斯模型 63
6.2.2 层级贝叶斯模型 65
6.2.3 增广贝叶斯学习模型 66
6.2.4 基于Boosting技术的朴素贝叶斯模型 66
6.2.5 贝叶斯神经网络模型 66
6.3 仿真实验 66
6.3.1 Learn＿Bayse（X，V） 67
6.3.2 Classify＿Bayse（X） 67
6.4 算法特点 68
第7讲 EM算法 70
7.1 基本原理 70
7.2 算法改进 71
7.2.1 EM算法的快速计算 71
7.2.2 未知分布函数Pi（y i）的选取 74
7.2.3 EM算法收敛性的改进 75
7.3 仿真实验 77
7.3.1 EM算法流程 77
7.3.2 EM算法的伪代码 77
7.3.3 EM算法应用——高斯混合模型 77
7.4 算法特点 79
第8讲 Adaboost 81
8.1 基本原理 81
8.1.1 Boosting方法 81
8.1.2 Adaboost方法 82
8.2 算法改进 83
8.2.1 权值更新方法的改进 83
8.2.2 Adaboost并行算法 83
8.3 仿真实验 83
8.3.1 Adaboost算法实现流程 83
8.3.2 Adaboost算法示例 84
8.4 算法特点 86
8.4.1 Adaboost算法的优点 86
8.4.2 Adaboost算法的缺点 87
第9讲 SVM方法 88
9.1 基本原理 88
9.2 算法改进 90
9.3 仿真实验 94
9.4 算法特点 100
第10讲 增强学习 102
10.1 基本原理 102
10.2 算法改进 105
10.2.1 部分感知模型 105
10.2.2 增强学习中的函数估计 105
10.2.3 分层增强学习 106
10.2.4 多Agent增强学习 107
10.3 仿真实验 107
10.4 算法特点 109
第11讲 流形学习 111
11.1 算法原理 111
11.1.1 ISOMAP 112
11.1.2 LLE 113
11.1.3 LE 113
11.1.4 HE 115
11.2 算法改进 115
11.2.1 LPP 116
11.2.2 MFA 117
11.3 算法仿真 119
11.4 算法特点 123
第12讲 RBF学习 126
12.1 基本原理 126
12.1.1 基于RBF函数的内插方法 126
12.1.2 RBF神经网络 129
12.1.3 数据中心的计算方法 130
12.2 算法改进 132
12.2.1 针对完全内插问题的改进方法 132
12.2.2 针对不适定问题的改进方法 133
12.2.3 广义RBF神经网络 134
12.3 仿真实验 134
12.3.1 基于高斯函数的RBF学习 134
12.3.2 RBF学习算法流程 135
12.4 算法特点 136
第13讲 稀疏表示 138
13.1 基本原理 138
13.1.1 信号稀疏表示 138
13.1.2 贪婪求解算法 140
13.1.3 凸优化求解算法 141
13.2 算法改进 142
13.2.1 组合Lasso （Group Lasso） 142
13.2.2 混合Lasso （Fused Lasso） 143
13.2.3 弹性网络（Elastic net） 143
13.3 仿真实验 143
13.3.1 OMP算法 143
13.3.2 APG算法 144
13.3.3 基于稀疏表示的人脸识别 145
13.4 算法特点 147
13.4.1 算法优点 147
13.4.2 算法缺点 147
第14讲 字典学习 149
14.1 基本原理 149
14.2 算法改进 151
14.2.1 最优方向法（MOD） 151
14.2.2 K-SVD法 151
14.2.3 在线字典学习法 151
14.3 仿真实验 152
14.3 基于字典学习的视频图像降噪方法 153
14.4 算法特点 154
14.4.1 算法优点 154
14.4.2 算法缺点 155
第15讲 BP学习 156
15.1 基本原理 156
15.1.1 人工神经网络 156
15.1.2 BP学习原理 157
15.2 算法改进 162
15.2.1 改进学习速率 163
15.2.2 改进训练样本 164
15.2.3 改进损失函数 164
15.2.4 改进连接方式 165
15.3 仿真实验 165
15.4 算法特点 167
第16讲 CNN学习 170
16.1 基本原理 170
16.1.1 神经认知机模型 170
16.1.2 CNN算法思想 171
16.1.3 CNN网络结构 171
16.1.4 CNN网络学习 174
16.2 算法改进 178
16.2.1 设计新的卷积神经网络训练策略 178
16.2.2 使用GPU加速卷积运算过程 178
16.2.3 使用并行计算提高网络训练和测试速度 179
16.2.4 采用分布式计算提高网络训练和测试速度 179
16.2.5 硬件化卷积神经网络 179
16.3 仿真实验 179
16.3.1 卷积神经网络训练算法仿真 179
16.3.2 卷积神经网络实际应用实例 181
16.4 算法特点 183
16.4.1 算法优点 183
16.4.2 算法缺点 183
第17讲 RBM学习 185
17.1 基本原理 185
17.1.1 RBM学习思想 185
17.1.2 RBM模型基础 186
17.1.3 RBM模型学习 189
17.2 算法改进 195
17.2.1 方差RBM 195
17.2.2 均值方差RBM 196
17.2.3 稀疏RBM 196
17.2.4 稀疏组RBM 197
17.2.5 分类R BM 197
17.3 仿真实验 198
17.4 算法特点 199
17.4.1 算法优点 199
17.4.2 算法缺点 200
第18讲 深度学习 203
18.1 基本原理 203
18.2 算法改进 212
18.3 仿真实验 214
18.4 算法特点 215
第19讲 遗传算法 218
19.1 算法原理 218
19.2 算法改进 220
19.2.1 适应度函数设计 220
19.2.2 初始群体的选取 221
19.3 算法仿真 221
19.3.1 图像预处理 222
19.3.2 车牌特征选取 222
19.3.3 基于遗传算法的车牌定位 223
19.4 算法特点 225
19.4.1 遗传算法的优点 226
19.4.2 遗传算法的不足 226
第20讲 蚁群方法 228
20.1 基本原理 228
20.1.1 群智能 228
20.1.2 蚂蚁寻找食物源方法 229
20.1.3 蚁群算法的规则 230
20.1.4 蚁群算法的实现 231
20.2 算法改进 232
20.2.1 基于遗传学的改进蚁群算法 232
20.2.2 蚁群系统 232
20.2.3 精英蚁群系统 233
20.2.4 最大最小蚁群系统 233
20.2.5 排序蚁群系统 234
20.2.6 最优-最差蚂蚁系统 235
20.3 仿真实验 235
20.3.1 蚁群算法实例 235
20.3.2 蚁群算法实现流程 236
20.3.3 蚁群算法伪代码 237
20.4 算法特点 238