第1章 稀疏学习与最优化问题 1
1.1 稀疏学习 2
1.1.1 样本稀疏性 2
1.1.2 特征稀疏性 3
1.2 最优化 4
1.2.1 问题描述 5
1.2.2 优化算法及其分类 5
1.3 遗传算法 7
1.3.1 基本概念 8
1.3.2 步骤 11
1.3.3 基础理论研究概述 12
1.3.4 遗传算法的现状与展望 14
第2章 基础算法 15
2.1 标准支持向量机（SVM） 15
2.2 最小二乘支持向量机（LSSVM） 16
2.3 基于Ramp损失的支持向量机（RSVM） 18
2.4 双子支持向量机（TWSVM） 19
2.4.1 线性双子支持向量机（LTWSVM） 20
2.4.2 非线性双子支持向量机（NLTWSVM） 21
2.5 非平行超平面支持向量机（NPSVM） 22
2.6 大规模SVM 25
2.7 小结 25
第3章 稀疏的非平行超平面支持向量机（RNPSVM） 26
3.1 线性情况 26
3.1.1 原始问题 26
3.1.2 对偶问题 28
3.2 非线性情况 34
3.3 算法分析 34
3.4 数值实验 36
3.5 小结 40
第4章 NPSVM的统计学习理论解释和线性规划的NPSVM 41
4.1 Universum-支持向量机（U-SVM） 41
4.2 U-SVM与NPSVM的关系 42
4.3 基于线性规划的NPSVM 44
4.3.1 线性规划问题 44
4.3.2 数值实验 46
4.4 基于线性规划的RNPSVM 47
4.4.1 线性规划问题 48
4.4.2 数值实验 50
4.5 小结 50
第5章 稀疏的最小二乘支持向量机（RLSSVM） 51
5.1 LSTWSVM和LSSVM的关系 51
5.2 基于ε不敏感损失函数的最小二乘支持向量机（ε-LSSVM） 52
5.3 基于Ramp损失的最小二乘支持向量机（RLSSVM） 54
5.3.1 原始问题 54
5.3.2 对偶问题 56
5.4 算法分析 57
5.5 数值实验 58
5.6 小结 61
第6章 大规模线性NPSVM和RNPSVM算法 62
6.1 交替方向乘子法（ADMM） 62
6.2 大规模线性NPSVM 63
6.3 大规模线性RNPSVM 65
6.4 数值实验 68
6.4.1 小规模数据 69
6.4.2 大规模数据 70
6.5 小结 73
第7章 全局最优化 74
7.1 平滑技术 74
7.2 进化算子 75
7.2.1 平滑函数的性质 75
7.2.2 基于一维搜索的杂交算子 77
7.2.3 变异算子 78
7.3 新的算法 78
7.3.1 算法 78
7.3.2 全局收敛性 78
7.4 数值模拟 80
7.4.1 试验函数 80
7.4.2 模拟结果 82
7.5 小结 85
第8章 非线性约束优化 86
8.1 多目标优化 87
8.1.1 多目标优化基本问题 87
8.1.2 均匀设计的基本思想 88
8.2 基于多目标优化问题转化的遗传算法 89
8.2.1 多目标优化问题的转化 89
8.2.2 算法1 90
8.2.3 算法2 93
8.3 基于种群分类排队的约束优化遗传算法 98
8.3.1 种群分类排队 98
8.3.2 遗传算法 99
8.4 基于D.S.C.法的进化算法 103
8.4.1 改进D.S.C.法 103
8.4.2 遗传算法 104
8.5 小结 107
参考文献 109