第1章 机器学习理论简述 1
1.1 经验误差最小化 2
1.1.1 假设与定义 2
1.1.2 原理陈述 4
1.2 经验风险最小化原理的一致性 4
1.2.1 在测试集上估计泛化误差 6
1.2.2 泛化误差的一致边界 7
1.2.3 结构风险最小化 15
1.3 依赖于数据的泛化误差界 17
1.3.1 Rademacher复杂度 17
1.3.2 Rademacher复杂度和VC维的联系 17
1.3.3 利用Rademacher复杂度获取泛化界的步骤 19
1.3.4 Rademacher复杂度的性质 23
第2章 无约束凸优化算法 26
2.1 梯度法 29
2.1.1 批处理模式 29
2.1.2 在线模式 31
2.2 拟牛顿法 32
2.2.1 牛顿方向 32
2.2.2 Broyden-Fletcher-Goldfarb-Shanno公式 33
2.3 线搜索 36
2.3.1 Wolfe条件 37
2.3.2 基于回溯策略的线搜索 41
2.4 共轭梯度法 43
2.4.1 共轭方向 43
2.4.2 共轭梯度算法 46
第3章 二类分类 48
3.1 感知机 48
3.1.1 感知机的收敛性定理 51
3.1.2 带间隔感知机及其与经验风险最小化原理的联系 53
3.2 Adaline 54
3.2.1 与线性回归和经验风险最小化原理的联系 54
3.3 Logistic回归 56
3.3.1 与经验风险最小化原理的联系 57
3.4 支持向量机 58
3.4.1 硬间隔 58
3.4.2 软间隔 63
3.4.3 基于间隔的泛化误差界 66
3.5 AdaBoost 68
3.5.1 与经验风险最小化原理的联系 70
3.5.2 拒绝法抽样 72
3.5.3 理论研究 73
第4章 多类分类 76
4.1 形式表述 76
4.1.1 分类误差 77
4.1.2 泛化误差界 77
4.2 单一法 80
4.2.1 多类支持向量机 80
4.2.2 多类AdaBoost 84
4.2.3 多层感知机 87
4.3 组合二类分类算法的模型 91
4.3.1 一对全 91
4.3.2 一对一 92
4.3.3 纠错码 93
第5章 半监督学习 95
5.1 无监督框架和基本假设 95
5.1.1 混合密度模型 96
5.1.2 估计混合参数 96
5.1.3 半监督学习的基本假设 102
5.2 生成法 104
5.2.1 似然准则在半监督学习情形的推广 104
5.2.2 半监督CEM算法 105
5.2.3 应用：朴素贝叶斯分类器的半监督学习 106
5.3 判别法 108
5.3.1 自训练算法 109
5.3.2 转导支持向量机 111
5.3.3 贝叶斯分类器误差的转导界 113
5.3.4 基于伪标注的多视角学习 116
5.4 图法 118
5.4.1 标注的传播 119
5.4.2 马尔可夫随机游动 121
第6章 排序学习 123
6.1 形式表述 123
6.1.1 排序误差函数 124
6.1.2 样例排序 127
6.1.3 备择排序 128
6.2 方法 130
6.2.1 单点法 130
6.2.2 成对法 135
6.3 互相关数据的学习 144
6.3.1 测试界 146
6.3.2 泛化界 146
6.3.3 一些具体例子中的界的估计 151
附录 回顾和补充 155
附录A 概率论回顾 156
A.1 概率测度 156
A.1.1 可概率化空间 156
A.1.2 概率空间 157
A.2 条件概率 158
A.2.1 贝叶斯公式 158
A.2.2 独立性 159
A.3 实随机变量 159
A.3.1 分布函数 160
A.3.2 随机变量的期望和方差 161
A.3.3 集中不等式 162
附录B 程序代码 166
B.1 数据结构 166
B.1.1 数据集 166
B.1.2 超参数结构 167
B.2 稀疏表示 168
B.3 程序运行 170
B.4 代码 172
B.4.1 BGFS算法（2.2.2节） 172
B.4.2 线搜索（2.3节） 175
B.4.3 共轭梯度法（2.4节） 178
B.4.4 感知机（3.1节） 180
B.4.5 Adaline算法（3.2节） 181
B.4.6 Logistic回归（3.3节） 182
B.4.7 AdaBoost算法（3.5节） 184
B.4.8 AdaBoost M2算法（4.2.2节） 188
B.4.9 多层感知机（4.2.3节） 192
B.4.10 K-均值算法（5.1.2节） 195
B.4.11 半监督朴素贝叶斯（5.2.3节） 197
B.4.12 自学习（5.3.1节） 201
B.4.13 一次性自学习（5.3.1节） 204
B.4.14 PRank算法（6.2.1节） 205
B.4.15 RankBoost算法（6.2.2节） 207
参考文献 211