第1章 引论 1
1.1 最优化问题 1
1.2 方法概述 4
1.3 凸集与凸函数 10
1.4 线性系统的相容性 14
1.5 矩阵的广义逆 19
1.6 无约束优化最优性条件 20
习题 22
第2章 线搜索方法与信赖域方法 24
2.1 精确线搜索方法 24
2.2 非精确线搜索方法 31
2.3 信赖域方法 37
习题 46
第3章 最速下降法与牛顿方法 48
3.1 最速下降法 48
3.2 牛顿方法 52
习题 55
第4章 共轭梯度法 56
4.1 线性共轭方向法 56
4.2 线性共轭梯度法 58
4.3 线性共轭梯度法的收敛速度 63
4.4 非线性共轭梯度法 67
4.5 共轭梯度法的收敛性 69
习题 74
第5章 拟牛顿方法 75
5.1 方法概述与校正公式 75
5.1.1 拟牛顿条件 75
5.1.2 对称秩-1校正公式 76
5.1.3 DFP校正公式 79
5.1.4 BFGS校正公式 82
5.1.5 Broyden族校正公式 84
5.2 拟牛顿方法的全局收敛性 89
5.3 拟牛顿方法的超线性收敛性 97
习题 104
第6章 最小二乘问题 106
6.1 线性最小二乘问题 106
6.2 非线性最小二乘问题 107
6.2.1 Gauss-Newton方法 108
6.2.2 Levenberg-Marquardt方法 110
习题 119
第7章 约束优化最优性条件 120
7.1 等式约束优化一阶最优性条件 120
7.2 不等式约束优化一阶最优性条件 125
7.3 Lagrange函数的鞍点 129
7.4 凸规划最优性条件 131
7.5 Lagrange对偶 134
7.6 约束优化二阶最优性条件 142
习题 145
第8章 二次规划 149
8.1 模型与基本性质 149
8.2 对偶理论 153
8.3 等式约束二次规划的求解方法 154
8.4 不等式约束二次规划的有效集方法 159
习题 164
第9章 约束优化的可行方法 166
9.1 Zoutendijk可行方向法 166
9.2 Topkis-Veinott可行方向法 169
9.3 投影算子 172
9.4 梯度投影方法 181
习题 189
第10章 约束优化的罚函数方法 191
10.1 外点罚函数方法 191
10.2 内点罚函数方法 195
10.3 乘子罚函数方法 200
习题 207
第11章 序列二次规划方法 209
11.1 SQP方法的基本形式 209
11.2 SQP方法的收敛性质 213
11.3 既约SQP方法 223
11.4 信赖域SQP方法 227
习题 230
参考文献 231