第1章 绪论 1
1.1人工神经网络的发展 1
1.2 Bayes网络的发展 3
1.3正则技术的发展 3
1.4统计学习理论的发展 4
1.5核机器学习方法的发展 4
1.5.1有监督核机器学习方法 5
1.5.2非监督核机器学习方法 9
1.6本书的主要内容 10
参考文献 11
第2章 统计学习理论、再生核技术与支撑矢量机算法 24
2.1统计学习理论 24
2.1.1学习问题的模型 24
2.1.2学习过程的一致性理论 25
2.1.3学习机推广能力的界 27
2.1.4控制学习过程的推广能力 29
2.1.5构造学习算法 30
2.2再生核与再生核Hilbert空间 30
2.2.1再生核 30
2.2.2特征空间和经验特征空间 31
2.2.3再生核Hilbert空间与经验再生核Hilbert空间 32
2.2.4再生核与再生核Hilbert空间实例 33
2.2.5 Mercer容许核的构造 34
2.2.6再生核作为距离测度 35
2.2.7再生核Hilbert空间的函数表示理论 35
2.3支撑矢量机算法 36
2.3.1模式识别支撑矢量机 36
2.3.2回归支撑矢量机 38
参考文献 40
第3章 支撑矢量机理论基础 42
3.1支撑矢量机几何特性分析 42
3.1.1模式识别支撑矢量机几何特性分析 43
3.1.2回归估计支撑矢量机几何特性分析 47
3.1.3小结与讨论 49
3.2支撑矢量预选取的中心距离比值法 50
3.2.1中心距离比值法 50
3.2.2算法性能仿真 56
3.2.3一种新的推广能力衡量准则 58
3.2.4 Mercer核参数的选择 61
3.2.5仿真实验 61
3.2.6小结与讨论 66
参考文献 66
附录 67
第4章 先进支撑矢量机 71
4.1线性规划支撑矢量机 71
4.1.1线性规划线性支撑矢量机 71
4.1.2线性规划非线性支撑矢量机 73
4.1.3仿真实验 74
4.1.4小结与讨论 80
4.2无约束二次规划回归估计支撑矢量机 80
4.2.1无约束二次规划回归估计支撑矢量机 81
4.2.2仿真实验 85
4.2.3小结与讨论 90
4.3复值支撑矢量机 90
4.3.1模式识别复值支撑矢量机 91
4.3.2回归估计复值支撑矢量机 109
4.3.3小结与讨论 119
4.4基于微分容量控制的学习机 121
4.4.1推广能力及微分容量控制 121
4.4.2基于微分容量控制的学习机 124
4.4.3仿真实验 128
4.4.4小结与讨论 131
4.5基于决策树的支撑矢量机多分类方法 132
4.5.1支撑矢量机的多分类方法 133
4.5.2基于决策树的支撑矢量机多分类方法 135
4.5.3仿真实验 137
4.5.4小结与讨论 144
参考文献 144
附录 147
第5章 核学习机 153
5.1隐空间核机器 153
5.1.1隐空间 154
5.1.2隐空间主分量分析 155
5.1.3隐空间支撑矢量机 162
5.1.4最小二乘隐空间支撑矢量机 173
5.1.5稀疏隐空间支撑矢量机 181
5.2核函数的构造 189
5.2.1坐标变换核 190
5.2.2子波核函数 191
5.2.3尺度核函数 193
5.2.4性能仿真 195
5.2.5小结与讨论 202
5.3基于父子波正交投影核的支撑矢量机 203
5.3.1父子波正交投影核 204
5.3.2基于父子波正交投影核的支撑矢量机 205
5.3.3算法性能分析和父子波正交投影核的参数选择 208
5.3.4仿真实验 212
5.3.5小结与讨论 216
5.4子波核函数网络 216
5.4.1子波核函数网络模型 217
5.4.2子波核函数网络学习算法 218
5.4.3仿真实验 220
5.4.4小结与讨论 224
5.5核聚类算法 224
5.5.1聚类分析 225
5.5.2核聚类算法 225
5.5.3仿真实验 227
5.5.4小结与讨论 230
参考文献 230
附录 234
第6章 稀疏核支撑矢量机 240
6.1 Bayes核机器 240
6.1.1 Bayes学习 240
6.1.2基于有效子集选择的Bayes学习 242
6.2贪婪分阶段支撑矢量机 246
6.2.1支撑矢量机 248
6.2.2再生核Hilbert空间范数和支撑矢量机 248
6.2.3贪婪分阶段支撑矢量机 250
6.2.4性能评价 253
6.2.5仿真实验 253
6.2.6算法机理与性能分析 257
6.2.7小结与讨论 261
6.3特征标度核Fisher判别分析 262
6.3.1核Fisher判别分析 263
6.3.2光滑留一交叉验证误差 264
6.3.3扩展到多分类 266
6.3.4仿真实验 268
6.3.5小结与讨论 273
6.4序列稀疏贪婪优化 273
6.4.1最小二乘支撑矢量机 274
6.4.2序列稀疏贪婪优化 275
6.4.3模型选择 283
6.4.4仿真实验 284
6.4.5小结与讨论 289
参考文献 289
附录 293
第7章 快速大规模支撑矢量机 296
7.1基本域大规模支撑矢量回归 296
7.1.1基本域支撑矢量回归 297
7.1.2不敏感Huber损失函数和有限牛顿算法 298
7.1.3递归有限牛顿算法 304
7.1.4仿真实验 305
7.1.5基本域稀疏支撑矢量回归 309
7.1.6仿真实验 312
7.1.7小结与讨论 319
7.2大规模稀疏核机器CLAR-LASSO 319
7.2.1 LAR-LASSO算法 321
7.2.2 CLAR-LASSO算法 324
7.2.3时空复杂度 327
7.2.4相关工作 329
7.2.5仿真实验 329
7.2.6小结与讨论 336
7.3快速稀疏逼近最小二乘支撑矢量机 336
7.3.1最小二乘支撑矢量机分类 337
7.3.2最小二乘支撑矢量机和再生核Hilbert空间 338
7.3.3基于反向拟合的快速稀疏逼近策略 339
7.3.4仿真实验 347
7.3.5小结与讨论 357
7.4模糊核匹配追踪学习机 357
7.4.1模糊核匹配追踪 358
7.4.2自适应参数的选取 360
7.4.3仿真实验 362
7.4.4小结与讨论 367
7.5集成核匹配追踪学习机 367
7.5.1集成学习系统 368
7.5.2集成核匹配追踪学习机的理论分析 371
7.5.3建立集成核匹配追踪学习机 374
7.5.4仿真实验 375
7.5.5小结与讨论 380
参考文献 380
第8章 高分辨距离像识别 386
8.1平移不变的特征提取 387
8.1.1中心矩特征 387
8.1.2谱特征 387
8.2 MCPVC算法 388
8.3性能评价 393
8.3.1实测数据上的性能比较 393
8.3.2混合数据上的性能比较 398
8.4小结与讨论 401
参考文献 401
第9章 谱集成学习机 403
9.1基于免疫克隆算法的选择性支撑矢量机集成 403
9.1.1选择性集成学习的研究动机 403
9.1.2集成系统中个体支撑矢量机的构造 404
9.1.3基于免疫克隆算法的支撑矢量机选择性集成 404
9.1.4仿真实验 406
9.1.5小结与讨论 413
9.2基于特征选择的支撑矢量机集成 414
9.2.1基于特征选择的支撑矢量机集成系统的构造 415
9.2.2集成系统中个体支撑矢量机的评价 417
9.2.3免疫克隆算法在支撑矢量机集成系统特征选择中的应用 418
9.2.4仿真实验 420
9.3谱聚类集成学习 422
9.3.1改进的谱聚类及其相关技术 423
9.3.2非监督集成问题 428
9.3.3具有多样性的个体谱聚类的构造 429
9.3.4多个谱聚类结果的合并 430
9.3.5仿真实验 432
9.3.6小结与讨论 445
9.4基于分水岭-谱聚类的图像分割 446
9.4.1分水岭分割策略 448
9.4.2基于特征值尺度化特征向量的multiway谱聚类 449
9.4.3仿真实验 450
9.4.4小结与讨论 467
9.5谱协同神经网络分类 467
9.5.1协同神经网络 468
9.5.2谱协同神经网络分类算法 469
9.5.3算法复杂度分析 470
9.5.4仿真实验 470
9.5.5小结与讨论 475
参考文献 476
第10章 基于核学习的图像识别 482
10.1基于核匹配追踪的图像识别 482
10.1.1核匹配追踪 483
10.1.2基于多尺度几何分析与核匹配追踪的图像识别 486
10.1.3仿真实验 490
10.1.4小结与讨论 493
10.2基于免疫克隆与核匹配追踪的快速图像目标识别 494
10.2.1免疫克隆算法 494
10.2.2免疫克隆选择核匹配追踪算法 497
10.2.3 ICSA-KMP图像目标识别算法流程 498
10.2.4 ICSA-KMP算法时间复杂度分析 500
10.2.5仿真实验 500
10.2.6小结与讨论 505
10.3基于协同神经网络的SAR图像识别 506
10.3.1协同神经网络 507
10.3.2免疫克隆规划协同神经网络 509
10.3.3基于协同神经网络的免疫克隆集成算法 518
10.4基于聚类学习的SAR图像识别 522
10.4.1聚类算法 523
10.4.2基于聚类的核匹配追踪字典学习算法 525
10.4.3免疫克隆聚类协同神经网络的SAR图像识别 528
10.5基于集成学习的SAR图像识别 533
10.5.1集成学习系统构造 533
10.5.2核匹配追踪集成分类器 537
10.5.3基于免疫克隆选择的核匹配追踪集成图像识别 539
参考文献 545