第1章 引言 1
1.1 优化问题的一般模型 1
1.2 优化问题的分类 2
第2章 基本知识 3
2.1 关于极小点的一些定理 3
2.2 算法的一般性描述 6
第3章 线搜索方法 10
3.1 线搜索方法的收敛性 13
3.2 收敛率 14
3.3 计算步长 19
第4章 信赖域方法 22
4.1 子问题的近似解法 23
4.2 子问题的几乎精确解法 27
4.3 信赖域方法的全局收敛性 31
第5章 共轭梯度法 36
5.1 线性共轭梯度法 36
5.2 非线性共轭梯度法 45
第6章 实用Newton法 54
6.1 非精确Newton法 54
6.2 线搜索Newton法 56
6.3 Hesse修正 58
6.4 信赖域Newton法 64
第7章 导数的计算 70
7.1 有限差分近似估计 70
7.2 自动微分法 77
第8章 拟Newton法 85
8.1 BFGS方法 85
8.2 BFGS方法的特性 88
8.3 SR1方法（秩1校正公式） 89
8.4 SR1校正的特征 92
8.5 Broyden族 93
8.6 收敛性分析 95
第9章 约束优化的基本理论 100
9.1 可微凸规划的KKT点 103
9.2 二阶充分条件 105
9.3 几个有用的观察 107
第10章 线性规划：单纯形法 108
10.1 线性规划及其形式 108
10.2 可行域的几何特征 109
10.3 单纯形法 111
10.4 线性规划的对偶理论 115
第11章 线性规划：内点法 118
11.1 原始-对偶算法 118
11.2 补充说明 126
第12章 二次规划 128
12.1 等式约束二次规划 128
12.2 二次规划的不等式约束问题 133
第13章 约束优化的几种基本方法 142
13.1 罚函数法 142
13.2 对数障碍法 146
13.3 精确罚函数 152
13.4 增广的Lagrange乘子法 152
附录A 背景材料 158
A.1 连续性和极限 160
A.2 导数 161
A.3 方向导数 162
A.4 中值定理 163
A.5 隐函数定理 163
A.6 可行集的几何解释 164
A.7 阶的记法 166
A.8 标量方程根的求法 166
A.9 向量和矩阵 167
A.10 范数 167
A.11 子空间 169
A.12 特征值，特征向量，奇异值分解 170
A.13 行列式和迹 171
A.14 矩阵分解：Cholesdy,LU,QR 171
A.15 Sherman-Morrison-Woodbury公式 174
A.16 交错特征值定理 175
A.17 误差分析 175
A.18 预条件化和稳定性 175
附录B Kantorovich不等式 178
参考文献 180