问题的提出 1
最优化问题分类 2
非线性规划问题解的基本概念 3
非线性规划问题的算法分类与算法框架 4
算法的收敛性分析与收敛速度 7
凸函数与几个常用不等式 10
无约束优化问题的最优性条件 13
精确线搜索下降算法及其收敛性 15
非精确线搜索步长规则 22
非精确线搜索下降算法的收敛性 24
信赖域方法及其子问题的求解 27
信赖域方法的全局收敛性 32
最速下降算法 36
牛顿算法 39
非精确牛顿算法 42
修正牛顿算法 44
线性共轭方向法 49
共轭梯度算法 51
Beale三项共轭梯度法与重新开始准则 60
共轭梯度算法的收敛性 61
拟牛顿条件 66
对称秩1校正公式 67
DFP校正公式 69
BFGS校正公式 72
Broyden族校正公式 74
Huang族校正公式 79
拟牛顿算法的全局收敛性 82
一般拟牛顿算法的超线性收敛性 90
DFP，BFGS方法的超线性收敛性 97
矩阵的Frobenius范数 97
DFP方法的超线性收敛性 98
BFGS方法的超线性收敛性 106
非线性方程组的牛顿算法 110
非线性方程组的信赖域方法 114
非线性最小二乘问题的Gauss-Newton算法 117
非线性最小二乘问题的Levenberg-Marquardt方法 120
非线性方程组的Levenberg-Marquardt方法 126
可行下降方向的概念 130
等式约束优化问题的一阶最优性条件 131
一般约束优化问题的一阶最优性条件 133
Lagrange函数的鞍点 142
约束优化问题的二阶最优性条件 144
凸规划问题的最优性条件 147
Lagrange对偶规划 149
二次规划问题的相容性 153
二次规划问题的对偶 154
等式约束二次规划问题的求解算法 156
二次规划问题的积极集方法 160
Zoutendijk可行方向法 165
Topkis-Veinott可行方向法的收敛性 167
投影算子的定义与性质 170
约束优化问题的梯度投影算法 177
外点罚函数方法 181
内点罚函数方法 185
乘子罚函数方法 189
SQP方法的基本形式 197
SQP方法的收敛性质 201
既约Hessian阵SQP方法 211
带有信赖域的SQP方法 215