最优化理论与方法PDF电子书下载

第一章 引论 1

1.1 引言 1

1.2 数学基础 2

1.3 凸集和凸函数 26

1.3 无约束问题的最优性条件 46

1.5 最优化方法的结构 50

第二章 一维搜索 56

2.1 引言 56

2.2 精确一维搜索的收敛理论 59

2.3 0.618法和Fibonacci法 69

2.4 插值法 75

2.5 不精确一维搜索方法 94

第三章 牛顿法 108

3.1 最速下降法 108

3.2 牛顿法 121

3.3 修正牛顿法 126

3.4 有限差分牛顿法 131

3.5 负曲率方向法 135

3.6 信赖域方法 154

3.7 不精确牛顿法 166

3.8 附录：关于牛顿法收敛性的Kantorovich定理 172

4.1 共轭方向法 183

第四章 共轭梯度法 183

4.2 共轭梯度法 186

4.3 共轭梯度法的收敛性 199

第五章 拟牛顿法 219

5.1 拟牛顿法 219

5.2 Broyden族 241

5.3 Huang族 248

5.4 算法的不变性 259

5.5 拟牛顿法的局部收敛性 263

5.6 拟牛顿法的总体收敛性 293

5.7 自调比变尺度方法 307

5.8 稀疏拟牛顿法 330

第六章 非二次模型最优化方法 340

6.1 齐次函数模型的最优化方法 340

6.2 张量方法 344

6.3 锥模型与共线调比 359

第七章 非线性最小二乘问题 373

7.1 非线性最小二乘问题 373

7.2 Gauss-Newton法 375

7.3 Levenberg-Marquardt方法 382

7.4 Levenberg-Marquardt方法的Moré形式 391

7.5 拟牛顿法 399

第八章 约束优化最优性条件 404

8.1 约束优化问题 404

8.2 一阶最优性条件 406

8.3 二阶最优性条件 417

第9章 二次规划 422

9.1 二次规划问题 422

9.2 对偶性质 426

9.3 等式约束问题 431

9.4 积极集法 438

9.5 对偶方法 444

9.6 内点算法 451

第十章 罚函数法 455

10.1 罚函数 455

10.2 简单罚函数法 460

10.3 内点罚函数 467

10.4 乘子罚函数 474

10.5 光滑精确罚函数 479

10.6 非光滑精确罚函数 482

第十一章 可行方向法 491

11.1 可行点法 491

11.2 广义消去法 501

11.3 广义既约梯度法 508

11.4 投影梯度法 511

11.5 线性约束问题 514

12.1 Lagrange-Newton法 521

第十二章 逐步二次规划法 521

12.2 Wilson-Han-Powell方法 528

12.3 SQP步的超线性收敛性 535

12.4 Marotos效应 539

12.5 Watchdog技术 541

12.6 二阶校正步 543

12.7 光滑价值函数 549

12.8 既约Hesse阵方法 553

第十三章 信赖域法 559

13.1 算法的基本形式 559

13.2 线性约束问题的信赖域法 569

13.3 信赖域子问题 574

13.4 零空间方法 578

13.5 CDT子问题 584

13.6 Powell-Yuan方法 589

第十四章 非光滑优化 599

14.1 广义梯度 599

14.2 非光滑优化问题 605

14.3 次梯度方法 608

14.4 割平面法 615

14.5 捆集法 616

14.6 复合非光滑优化的基本性质 619

14.7 信赖域法 622

参考文献 628