非线性规划PDF电子书下载

第一章 引言 1

1.1 非线性规划概述 1

1. 什么是非线性规划 1

2. 建立非线性规划模型 4

3. 对非线性规划的研究 8

1.2 预备知识 8

1. 向量模与矩阵模 8

2. 函数的Hesse阵 11

3. 无约束极小的必要条件和充分条件 13

练习一 15

第二章 最优性条件 17

2.1 等式约束极小的最优性条件 17

1. 约束超曲面的切向集 17

2. 最优解的必要条件 22

3. 最优解的充分条件 25

1. Kuhn-Tucker条件 27

2.2 一般非线性规划的最优性条件 27

2. 对K-T点的进一步分析 33

3. 最优解的二阶最优性条件 38

4*. Lagrange乘子的意义 41

2.3 凸规划的最优性条件 44

1. 凸函数的极值 44

2. 凸规划的最优性条件 52

3*. Lagrange式的鞍点 57

练习二 64

第三章 算法理论与线性搜索技巧 67

3.1 算法的收敛性 67

1. 无约束极小化算法的收敛性 67

2. 下降算法的整体收敛性 70

3.2 算法的收敛速率 77

1. 实数列的收敛速率 77

2. 迭代点列的收敛速率 80

3.3 线性搜索技巧 81

1. Fibonacci方法 82

2. 黄金分割法 86

3. 二次插值方法 89

4. 三次插值方法 92

5. 非精确线性搜索方法 93

练习三 96

第四章 基本的无约束最优化方法 98

4.1 最速下降法 98

1. 算法及其收敛性 98

2. 算法的收敛速率 100

4.2 采用Armijo步长的最速下降法 104

1. 算法的形成 104

2. 算法的收敛性 106

4.3 Newton法 110

1. 算法的形成 110

2. 算法的收敛性 114

3. 算法的修改 115

4. Murray修改 119

4.4 最小二乘问题 125

1. 线性问题 125

2. Gauss-Newton方法 127

3. Levenbeger-Marquart方法 129

练习四 131

第五章 共轭梯度法与变尺度法 134

5.1 共轭梯度法 134

1. 共轭方向法 134

2. 共轭梯度方向的形成 137

3*. 共轭梯度法的收敛速率 142

5.2 变尺度法 148

1. 问题的提出 148

2. 对称秩1校正公式 149

3. DFP公式和BFGS公式 151

4*. Dennis矩阵族 156

5*. Huang矩阵族 158

6*. Broyden矩阵族 162

7*. 关于Huang 矩阵族的进一步讨论 164

练习五 169

第六章 直接搜索法 171

6.1 Powell方法 171

1. 初期方法 171

2. 方法的修改 174

3. 用于非二次函数的极小化 178

6.2 定步长下山算法 181

2. Hooko-Jeeves方法 182

1. 轴向搜索法 182

3. 单纯形调优法 183

6.3* 定步长下山算法的收敛性 189

1. 正其及其生成测度 190

2. 正基序列的收敛性 192

3. 收敛性定理 195

4. 典型算法的收敛性 197

6.4 变步长下山算法 200

2. Rosenbrock方法 201

1. 变步长轴向搜索法 201

练习六 205

第七章 乘子法 207

7.1 惩罚法 207

1. 罚函数法 207

2. 障碍函数法 212

3. 惩罚法的数值困难 215

7.2 Hestedes-Powell乘子法 216

1. 改进罚函数法的设想 216

2. 基本的对偶方法 218

3. H-P乘子法 220

4. 乘子法的效率 223

7.3 对H-P乘子法的进一步研究 225

1. Rockafellar的推广 225

2*. 对加速收敛的研究 227

3*. 对增广Lagrange函数的研究 228

1. Polak给出的收敛算法模型 229

7.4* Polak乘子法 229

2. 增广目标函数的构造与性质 232

3. 检验函数的构造 235

练习七 237

第八章 处理线性约束的一些最优化方法 239

8.1 基本的算法模型 239

1. 线性等式约束问题 239

2. 线性不等式约束问题 245

8.2 投影梯度法与既约梯度法 246

1. 投影矩阵 246

2. Rosen投影梯度法 248

3*. Goldfarb共轭投影梯度法 252

4. 既约梯度法 258

5*. 能行方向法的收敛性 263

8.3 二次规划问题的求解 265

1. 等式约束问题 265

2. Wolfe算法 267

3. 线性约束下的最小二乘问题 275

练习八 280

第九章 处理非线性约束的一些最小优化方法 282

9.1 复合形法 282

1. 复合形 282

2. 算法模型 283

9.2 线性约束最优化方法的推广 285

1. 广义既约梯度法 285

2. Zoutendijk能行方向法 292

9.3 线性逼近方法 296

1. 近似规划方法 297

2. KCG割平面法 300

9.4 二次逼近方法(SQP方法) 302

1. 等式约束问题 303

2. 推广于不等式约束 306

练习九 307

主要参考书目 309