第1章 最优化基础 1
1.1 欧式空间上的最优化问题 1
1.1.1 最优化问题实例 1
1.1.2 最优化问题及其解 2
1.1.3 最优化问题的几何解释 3
1.2 欧式空间上的凸规划 5
1.2.1 凸集和凸函数 5
1.2.2 凸规划问题及其基本性质 8
1.2.3 凸规划的对偶理论 11
1.2.4 凸规划的最优性条件 14
1.2.5 线性规划 16
1.3 Hilbert空间上的凸规划 17
1.3.1 凸函数及Fréchet导数 17
1.3.2 凸规划问题 17
1.3.3 凸规划的对偶理论 18
1.3.4 凸规划的最优性条件 19
1.4 欧式空间上带有广义不等式约束的凸规划 20
1.4.1 带有广义不等式约束的凸规划 20
1.4.2 带有广义不等式约束的凸规划的对偶理论 22
1.4.3 带有广义不等式约束的凸规划的最优性条件 25
1.4.4 二阶锥规划 27
1.4.5 半定规划 33
1.5 Hilbert空间上带有广义不等式约束的凸规划 39
1.5.1 K－凸函数与Fréchet导数 39
1.5.2 凸规划问题 40
1.5.3 凸规划的对偶理论 40
1.5.4 凸规划的最优性条件 41
第2章 线性分类机 43
2.1 分类问题的提出 43
2.1.1 例子（心脏病诊断） 43
2.1.2 分类问题和分类机 45
2.2 线性可分问题的支持向量分类机 46
2.2.1 最大间隔法 47
2.2.2 线性可分问题的支持向量分类机 51
2.2.3 支持向量 55
2.3 线性支持向量分类机 56
2.3.1 最大间隔法 56
2.3.2 线性支持向量分类机 59
第3章 线性回归机 63
3.1 回归问题和线性回归问题 63
3.2 硬？－带超平面 64
3.2.1 从线性回归问题到硬？－带超平面 64
3.2.2 硬？－带超平面与线性分划 66
3.2.3 构造硬？－带超平面的最优化问题 67
3.3 线性硬ε－带支持向量回归机 69
3.3.1 原始问题 69
3.3.2 对偶问题及其与原始问题解的关系 71
3.3.3 线性硬ε－带支持向量回归机 75
3.4 线性ε－支持向量回归机 77
3.4.1 原始问题 77
3.4.2 对偶问题及其与原始问题解的关系 78
3.4.3 线性ε－支持向量回归机 79
第4章 核与支持向量机 81
4.1 从线性分划到非线性分划 81
4.1.1 非线性分划的例子 81
4.1.2 基于非线性分划的分类算法 82
4.1.3 基于非线性分划的回归算法 87
4.2 核函数 92
4.2.1 核函数及其特征 92
4.2.2 核函数的判定和常用的核函数 93
4.3 支持向量机及其性质 97
4.3.1 支持向量分类机 97
4.3.2 支持向量回归机 101
4.4 支持向量机中核函数的选取 105
4.4.1 已知训练集时核函数的选取 105
4.4.2 核函数的直接构造 111
第5章 C－支持向量分类机的统计学基础 115
5.1 分类问题的统计学提法 115
5.1.1 概率分布 115
5.1.2 分类问题的统计学提法 116
5.2 经验风险最小化原则 118
5.3 VC维 119
5.4 结构风险最小化原则 121
5.5 结构风险最小化原则的一个直接实现 124
5.5.1 原始问题 124
5.5.2 拟对偶问题及其与原始问题的关系 125
5.5.3 结构风险最小化分类机 129
5.6 C－支持向量分类机的统计学习理论基础 129
5.6.1 C－支持向量分类机的回顾 129
5.6.2 对偶问题与拟对偶问题的关系 131
5.6.3 C－线性支持向量分类机的统计学习理论解释 132
第6章 模型选择 134
6.1 分类对象的向量描述 134
6.1.1 离散特征的数值化 134
6.1.2 字符串的向量描述 134
6.2 分类问题的确定 137
6.2.1 标称型变量的处理 137
6.2.2 训练集的压缩 138
6.2.3 训练集的均衡 140
6.2.4 特征选择 141
6.2.5 特征提取 147
6.3 支持向量分类机中核函数与参数的选择 151
6.3.1 算法优劣的评价标准——k－折交叉确认 152
6.3.2 LOO误差及其理论意义 153
6.3.3 LOO误差的估计 154
6.3.4 核函数与参数的选择 155
第7章 算法 156
7.1 停机准则 157
7.1.1 第1个停机准则 157
7.1.2 第2个停机准则 158
7.1.3 第3个停机准则 159
7.2 选块算法 161
7.3 分解算法 162
7.4 序列最小最优化算法 165
7.4.1 算法的主要步骤 165
7.4.2 工作集的选取 166
7.4.3 两个变量的最优化问题的解析解 167
7.5 软件介绍 168
第8章 支持向量机的变形与拓广 170
8.1 两类分类问题的支持向量机 170
8.1.1 齐次决策函数支持向量分类机 170
8.1.2 限定支持向量分类机 172
8.1.3 最小二乘支持向量分类机 174
8.1.4 中心支持向量分类机 176
8.1.5 v－支持向量分类机 177
8.1.6 线性规划形式的支持向量分类机 180
8.2 回归问题的支持向量机 182
8.2.1 最小二乘支持向量回归机 182
8.2.2 v－支持向量回归机 184
8.2.3 线性规划形式的支持向量回归机 187
8.3 多类分类问题的求解 189
8.3.1 基于两类支持向量分类机的方法 189
8.3.2 基于顺序回归机的方法 193
8.3.3 Crammer-Singer多类支持向量分类机 200
8.4 对于非标准训练集分类问题的求解 204
8.4.1 U－支持向量分类机 204
8.4.2 半监督两类分类问题的支持向量机 207
8.5 稳健支持向量分类机 213
8.5.1 稳健分类问题 213
8.5.2 输入为多面体扰动的问题的求解 214
8.5.3 输入为球体扰动的问题的求解 219
8.6 多示例分类问题的支持向量机 223
8.6.1 多示例两类分类问题 223
8.6.2 多示例线性支持向量分类机 225
8.6.3 多示例支持向量分类机 229
参考文献 234
索引 240