数值优化引论PDF电子书下载

第1章　引言 1

1.1 优化问题的一般模型 1

1.2　优化问题的分类 2

第2章　基本知识 3

2.1　关于极小点的一些定理 3

2.2　算法的一般性描述 6

第3章　线搜索方法 10

3.1 线搜索方法的收敛性 13

3.2　收敛率 14

3.3　计算步长 19

第4章　信赖域方法 22

4.1 子问题的近似解法 23

4.2　子问题的几乎精确解法 27

4.3 信赖域方法的全局收敛性 31

第5章　共轭梯度法 36

5.1　线性共轭梯度法 36

5.2　非线性共轭梯度法 45

第6章　实用Newton法 54

6.1　非精确Newton法 54

6.2　线搜索Newton法 56

6.3　Hesse修正 58

6.4　信赖域Newton法 64

第7章　导数的计算 70

7.1　有限差分近似估计 70

7.2 自动微分法 77

第8章　拟Newton法 85

8.1　BFGS方法 85

8.2　BFGS方法的特性 88

8.3　SR1方法（秩1校正公式） 89

8.4　SR1校正的特征 92

8.5　Broyden族 93

8.6　收敛性分析 95

第9章　约束优化的基本理论 100

9.1　可微凸规划的KKT点 103

9.2　二阶充分条件 105

9.3　几个有用的观察 107

第10章　线性规划：单纯形法 108

10.1　线性规划及其形式 108

10.2 可行域的几何特征 109

10.3　单纯形法 111

10.4　线性规划的对偶理论 115

第11章　线性规划：内点法 118

11.1　原始-对偶算法 118

11.2　补充说明 126

第12章　二次规划 128

12.1　等式约束二次规划 128

12.2　二次规划的不等式约束问题 133

第13章　约束优化的几种基本方法 142

13.1　罚函数法 142

13.2　对数障碍法 146

13.3　精确罚函数 152

13.4 增广的Lagrange乘子法 152

附录A　背景材料 158

A.1　连续性和极限 160

A.2　导数 161

A.3　方向导数 162

A.4　中值定理 163

A.5　隐函数定理 163

A.6　可行集的几何解释 164

A.7 阶的记法 166

A.8　标量方程根的求法 166

A.9　向量和矩阵 167

A.10　范数 167

A.11 子空间 169

A.12　特征值，特征向量，奇异值分解 170

A.13　行列式和迹 171

A.14　矩阵分解：Cholesdy,LU,QR 171

A.15 Sherman-Morrison-Woodbury公式 174

A.16　交错特征值定理 175

A.17　误差分析 175

A.18 预条件化和稳定性 175

附录B　Kantorovich不等式 178

参考文献 180