最优化导论 第4版PDF电子书下载

第一部分 数学知识回顾 2

第1章 证明方法与相关记法 2

1.1 证明方法 2

1.2 记法 3

习题 4

第2章 向量空间与矩阵 5

2.1 向量与矩阵 5

2.2 矩阵的秩 9

2.3 线性方程组 12

2.4 内积和范数 14

习题 16

第3章 变换 18

3.1 线性变换 18

3.2 特征值与特征向量 18

3.3 正交投影 21

3.4 二次型函数 22

3.5 矩阵范数 26

习题 29

第4章 有关几何概念 32

4.1 线段 32

4.2 超平面与线性簇 32

4.3 凸集 33

4.4 邻域 35

4.5 多面体和多胞形 36

习题 36

第5章 微积分基础 37

5.1 序列与极限 37

5.2 可微性 42

5.3 导数矩阵 43

5.4 微分法则 46

5.5 水平集与梯度 47

5.6 泰勒级数 50

习题 54

第二部分 无约束优化问题 56

第6章 集合约束和无约束优化问题的基础知识 56

6.1 引言 56

6.2 局部极小点的条件 57

习题 65

第7章 一维搜索方法 71

7.1 引言 71

7.2 黄金分割法 71

7.3 斐波那契数列法 74

7.4 二分法 81

7.5 牛顿法 81

7.6 割线法 84

7.7 划界法 86

7.8 多维优化问题中的一维搜索 87

习题 88

第8章 梯度方法 91

8.1 引言 91

8.2 最速下降法 92

8.3 梯度方法性质分析 98

习题 107

第9章 牛顿法 111

9.1 引言 111

9.2 牛顿法性质分析 113

9.3 Levenberg-Marquardt修正 116

9.4 牛顿法在非线性最小二乘问题中的应用 116

习题 119

第10章 共轭方向法 120

10.1 引言 120

10.2 基本的共轭方向算法 121

10.3 共轭梯度法 125

10.4 非二次型问题中的共轭梯度法 128

习题 130

第11章 拟牛顿法 133

11.1 引言 133

11.2 黑塞矩阵逆矩阵的近似 134

11.3 秩1修正公式 136

11.4 DFP算法 140

11.5 BFGS算法 144

习题 147

第12章 求解线性方程组 151

12.1 最小二乘分析 151

12.2 递推最小二乘算法 158

12.3 线性方程组的最小范数解 161

12.4 Kaczmarz算法 162

12.5 一般意义下的线性方程组的求解 165

习题 171

第13章 无约束优化问题和神经网络 176

13.1 引言 176

13.2 单个神经元训练 177

13.3 反向传播算法 179

习题 187

第14章 全局搜索算法 189

14.1 引言 189

14.2 Nelder-Mead单纯形法 189

14.3 模拟退火法 192

14.4 粒子群优化算法 195

14.5 遗传算法 197

习题 207

第三部分 线性规划 210

第15章 线性规划概述 210

15.1 线性规划简史 210

15.2 线性规划的简单例子 211

15.3 二维线性规划 216

15.4 凸多面体和线性规划 217

15.5 线性规划问题的标准型 218

15.6 基本解 222

15.7 基本解的性质 225

15.8 几何视角下的线性规划 227

习题 230

第16章 单纯形法 233

16.1 利用行变换求解线性方程组 233

16.2 增广矩阵的规范型 238

16.3 更新增广矩阵 239

16.4 单纯形法 240

16.5 单纯形法的矩阵形式 245

16.6 两阶段单纯形法 248

16.7 修正单纯形法 251

习题 254

第17章 对偶 259

17.1 对偶线性规划 259

17.2 对偶问题的性质 265

习题 270

第18章 非单纯形法 275

18.1 引言 275

18.2 Khachiyan算法 276

18.3 仿射尺度法 278

18.4 Karmarkar算法 282

习题 291

第19章 整数规划 293

19.1 概述 293

19.2 幺模矩阵 293

19.3 Gomory割平面法 299

习题 305

第四部分 有约束的非线性优化问题 308

第20章 仅含等式约束的优化问题 308

20.1 引言 308

20.2 问题描述 309

20.3 切线空间和法线空间 310

20.4 拉格朗日条件 314

20.5 二阶条件 321

20.6 线性约束下二次型函数的极小化 324

习题 328

第21章 含不等式约束的优化问题 331

21.1 卡罗需－库恩－塔克（Karush-Kuhn-Tucker）条件 331

21.2 二阶条件 338

习题 341

第22章 凸优化问题 346

22.1 引言 346

22.2 凸函数 347

22.3 凸优化问题 354

22.4 半定规划 358

习题 369

第23章 有约束优化问题的求解算法 374

23.1 引言 374

23.2 投影法 374

23.3 求解含线性约束优化问题的投影梯度法 376

23.4 拉格朗日法 380

23.5 罚函数法 385

习题 390

第24章 多目标优化 393

24.1 引言 393

24.2 帕累托解 393

24.3 帕累托前沿的求解 395

24.4 多目标优化到单目标优化的转换 398

24.5 存在不确定性的线性规划 400

习题 405

参考文献 408