1绪论 1
1.1 机器学习理论 1
1.1.1 学习问题的一般模型 2
1.1.2 经验风险最小化原则 3
1.1.3 模型复杂度和推广能力 3
1.1.4 结构风险最小化原则 4
1.2 支持向量机算法及研究现状 4
1.2.1 理论研究 5
1.2.2 训练算法 7
1.2.3 应用研究 8
2统计学习理论和最优化理论 10
2.1 统计学习理论基础 10
2.1.1 学习问题的数学表达 10
2.1.2 经验风险最小化原则 11
2.1.3 学习过程的一致性条件 11
2.1.4 学习过程收敛速率的渐进性理论 13
2.1.5 推广能力的泛化误差界 14
2.1.6 结构风险最小化原则 14
2.2 最优化理论 15
2.2.1 基本概念 16
2.2.2 凸集理论基础 17
2.2.3 拉格朗日乘子理论 18
2.3 本章小结 21
3标准支持向量机算法 22
3.1 最优分类超平面 22
3.2 核函数理论 23
3.3 支持向量机算法 25
3.3.1 线性支持向量机 25
3.3.2 近似线性可分支持向量机 26
3.3.3 非线性支持向量机 28
3.3.4 支持向量特性 29
3.4 数值试验 30
3.4.1 数据预处理 30
3.4.2 实验结果 31
3.5 本章小结 33
4最小二乘支持向量机算法 34
4.1 最小二乘支持向量机 34
4.1.1 线性最小二乘支持向量机 34
4.1.2 非线性最小二乘支持向量机 35
4.2 原空间最小二乘支持向量机 36
4.2.1 线性原空间最小二乘支持向量机 36
4.2.2 非线性原空间最小二乘支持向量机 37
4.2.3 标准形式 38
4.2.4 仿真实验 39
4.2.5 小结 41
4.3 稀疏最小二乘支持向量机 42
4.3.1 线性稀疏最小二乘支持向量机 42
4.3.2 非线性稀疏最小二乘支持向量机 42
4.3.3 稀疏模型L1SLSSVM 43
4.3.4 仿真实验 43
4.3.5 小结 46
4.4 本章小结 46
5支持向量域描述算法 47
5.1 研究现状 47
5.2 工作机理 48
5.2.1 线性空间SVDD 48
5.2.2 特征空间SVDD 49
5.2.3 支持向量特性及分布 51
5.3 约简支持向量域描述RSVDD 51
5.3.1 中心距离比值SVM 52
5.3.2 约简支持向量域描述 53
5.3.3 约简集规模 54
5.3.4 数值实验 55
5.3.5 结论 57
5.4 信赖支持向量域描述 57
5.4.1 信赖支持向量域描述 57
5.4.2 抽样集规模 58
5.4.3 抽样集分布 58
5.4.4 参数设置和复杂度 60
5.4.5 数值实验 61
5.4.6 结论 63
5.6 本章小结 64
6光滑支持向量机算法 65
6.1 引言 65
6.2 Mangasasian的光滑SSVM 66
6.2.1 标准SVM 66
6.2.2 光滑支持向量机 67
6.2.3 多项式光滑模型 67
6.3 光滑对角加权支持向量机 69
6.3.1 二次损失函数SVM 69
6.3.2 线性光滑对角加权支持向量机 70
6.3.3 非线性光滑对角加权支持向量机 72
6.3.4 算法实现 76
6.3.5 数值实验 77
6.4 隐空间光滑支持向量机 80
6.4.1 隐空间简介 81
6.4.2 隐空间支持向量机 81
6.4.3 隐空间光滑支持向量机HS3VM 83
6.4.4 PSO参数寻优 83
6.4.5 数值试验 85
6.4.6 结束语 87
6.5 本章小结 87
7大规模样本集下的支持向量机算法 88
7.1 同心超球面支持向量机HSVM 88
7.1.1 理论基础 88
7.1.2 同心超球面组的构造 90
7.1.3 算法实现 92
7.1.4 数值实验 93
7.1.5 小结 95
7.2 支持向量机的集成算法 95
7.2.1 集成学习算法概述 95
7.2.2 空间支持向量域分类器SSVDC 96
7.2.3 算法实现 100
7.2.4 数值实验 101
7.2.5 结论 105
7.3 聚类分片双支持向量域分类器 106
7.3.1 聚类分片 106
7.3.2 双支持向量域分类器 108
7.3.3 链接规则 110
7.3.4 复杂度分析 111
7.3.5 数值试验 111
7.4 本章小结 114
8总结与展望 116
8.1 总结 116
8.2 展望 117
参考文献 119