数据挖掘中的新方法 支持向量机PDF电子书下载

目 录 1

序言 1

符号表 1

第1章 最优化问题及其基本理论 1

1.1最优化问题 1

1.1.1最优化问题实例 1

1.1.2最优化问题 2

1.1.3 凸最优化 10

1.2最优性条件 15

1.2.1无约束问题的最优性条件 15

1.2.2约束问题的最优性条件 18

1.3对偶理论 34

1.3.1最大最小对偶 34

7.3.4 序列最小最优化（sequential minimal optimization,SMO）算法 35

1.3.2 Lagrange对偶 38

1.4注记 47

参考文献 47

第2章 求解分类问题和回归问题的直观途径 49

2.1分类问题的提出 49

2.1.1例子（心脏病诊断） 49

2.1.2分类问题和分类学习机 51

2.2线性分类学习机 53

2.2.1线性可分问题的线性分划 53

2.2.2近似线性可分问题的线性分划 64

2.3支持向量分类机 71

2.3.1从线性分划到二次分划 71

2.3.2 二次分划算法的简化 74

2.3.3非线性分划的基本途径 75

2.4线性回归学习机 77

2.4.1回归问题 77

2.4.2线性回归问题与硬ε－带超平面 78

2.4.3硬ε－带超平面的构造 82

2.4.4硬ε－带超平面的推广 86

2.4.5线性支持向量回归机 88

2.5支持向量回归机 93

2.6注记 94

参考文献 95

第3章 核 96

3.1描述相似性的工具——内积 96

3.1.1直观的相似程度与内积 96

3.1.2支持向量分类机中的相似与内积 98

3.1.3核函数的选取 98

3.2多项式空间和多项式核 100

3.2.1有序单项式空间 100

3.2.2 无序单项式空间 103

3.2.3 Hilbert空间与多项式核函数 104

3.3 Mercer核 105

3.3.1半正定矩阵的特征展开 105

3.3.2 Mercer定理与Mercer核 108

3.4正定核 112

3.4.1 正定核的必要条件 113

3.4.2 正定核的充分条件 113

3.4.3正定核的特征 116

3.4.4再生核Hilbert空间 116

3.5.1核的构造原则 117

3.5核的构造 117

3.4.5 正定核与Mercer核的关系 117

3.5.2常用的几种核函数 120

3.6注记 122

参考文献 123

第4章 推广能力的理论估计 125

4.1损失函数和期望风险 125

4.1.1概率分布 125

4.1.2损失函数 131

4.1.3期望风险 132

4.2求解分类问题的一种途径和一个算法模型 136

4.2.1分类问题的一个自然的数学提法 136

4.2.3一个学习算法 141

4.2.2求解分类问题的途径 141

4.3 VC维 143

4.4学习算法在概率意义下的近似正确性 146

4.5一致性概念和关键定理 149

4.6结构风险最小化 152

4.7基于间隔的推广估计 154

4.8注记 161

参考文献 162

第5章 分类问题 164

5.1最大间隔原则 164

5.1.1线性可分问题的最大间隔原则 164

5.1.2扰动意义下的几何解释 165

5.2线性可分支持向量分类机 166

5.2.1线性可分问题的规范超平面 166

5.2.2原始最优化问题 168

5.2.3 对偶问题及其与原始问题的关系 169

5.2.4线性可分支持向量分类机及其理论基础 173

5.3线性支持向量分类机 174

5.3.1原始问题 174

5.3.2对偶问题及其与原始问题的关系 179

5.3.3线性支持向量分类机及其理论基础 183

5.3.4支持向量 185

5.4支持向量分类机 186

5.4.1 可分支持向量分类机 186

5.4.2支持向量分类机 190

5.5ν-支持向量分类机（ν-SVC） 196

5.5.1 ν－线性支持向量分类机的原始最优化问题 196

5.5.2 ν－线性支持向量分类机的对偶问题及其与原始问题的关系 197

5.5.3ν－支持向量分类机 202

5.5.4 ν－支持向量分类机的性质 205

5.6ν－支持向量分类机（ν-SVC）和C－支持向量分类机（C-SVC）的关系 206

5.6.1主要结论 206

5.6.2主要结论的证明 208

5.7多类分类问题 214

5.7.1一类对余类 215

5.7.2成对分类 217

5.7.3纠错输出编码方法 218

5.7.4确定多类目标函数方法 218

5.8一个例子 219

5.9注记 221

参考文献 223

第6章 回归估计 224

6.1回归问题 224

6.1.1回归问题的难点 224

6.1.2回归问题的数学提法 226

6.1.3不敏感损失函数 226

6.2.1硬ε－带支持向量回归机 228

6.2 ε－支持向量回归机 228

6.2.2从线性ε－支持向量回归机到ε－支持向量回归机 235

6.3ν－支持向量回归机 245

6.3.1原始最优化问题 245

6.3.2 对偶问题及其与原始问题的关系 248

6.3.3ν－支持向量回归机 252

6.3.4 ν－支持向量回归机的性质 254

6.4ε－支持向量回归机（ε-SVR）与ν－支持向量回归机（ν-SVR）的关系 255

6.4.1主要结论 255

6.4.2主要结论的证明 257

6.5其他形式的支持向量回归机 259

6.5.1支持向量回归机的线性规划形式 259

6.5.2 ε－带为任意形状的支持向量回归机 262

6.6其他形式的损失函数 264

6.7.1一维回归问题 268

6.7一些例子 268

6.7.2二维回归问题 270

6.8注记 272

参考文献 272

第7章 算法 274

7.1无约束问题解法 274

7.1.1无约束问题提法 274

7.1.2基本无约束问题算法 277

7.1.3 牛顿－条件预优共轭梯度法（Newton-PCG算法） 294

7.2.1线性规划的原仿射尺度法 304

7.2内点算法 304

7.2.2线性规划的原－对偶算法 312

7.2.3 凸二次规划的仿射尺度法 315

7.2.4凸二次规划的原－对偶算法 324

7.3求解大型问题的算法 328

7.3.1停机准则 329

7.3.2 选块算法（chunking） 331

7.3.3分解算法（decomposing） 333

7.4注记 341

参考文献 342

第8章 应用 344

8.1模型选择问题 344

8.1.1训练集的选取——特征选择问题 344

8.1.2核及参数选择问题 347

8.2分类问题的线性分划中的特征选择 348

8.2.1特征选择的BFM方法 348

8.2.2序列极小化方法 352

8.3模型选择 355

8.3.1算法的评价标准 355

8.3.2模型选择 362

8.4静态图像中球的识别 366

8.4.1作为分类问题的足球识别问题 367

8.4.2正类和负类训练点的采集 368

8.4.3如何处理正类和负类训练点个数的不均衡 369

8.4.4降维处理和参数C的选取 370

8.4.5试验结果 371

8.5自由曲面的重建问题 372

8.6应用简介 374

8.6.1手写阿拉伯数字识别 374

8.6.2文本分类 375

8.6.3生物信息技术 376

8.7.1核聚类 377

8.7核技巧的应用 377

8.7.2核主成分分析 378

8.8注记 378

参考文献 379

附录A基础知识 382

A.1基本定义 382

A.2梯度和Hesse矩阵 383

A.3方向导数 384

A.3.1 一阶方向导数 384

A.3.2二阶方向导数 384

A.5分离定理 385

A.4 Taylor展开式 385

附录B Hilbert空间 387

B.1 量空间 387

B.2 积空间 389

B.3 Hilbert空间 390

B.4算子、特征值和特征向量 392

附录C概率 394

C.1概率空间 394

C.2随机变量及其分布 395

C.3随机变量的数字特征 397

C.4大数定律 397

附录D鸢尾属植物数据集 399

英汉术语对照表 404