目录 1
上篇 无约束最优化方法 1
第1章 基础知识 1
1.1 凸集及其基本性质 1
1.2 极值（一般函数）的最优性条件 6
1.2.1 多元函数极值概念 6
1.2.2 梯度与Hesse矩阵 7
1.2.3 局部极值的最优性条件 11
1.3 凸函数及凸函数极值的最优性条件 14
1.3.1 凸函数的定义及判定 14
1.3.2 凸函数的次梯度 17
1.3.3 凸函数的最优性条件 19
1.4 拟凸函数与全局最优 21
第2章 最优化方法概述 25
2.1 最优化问题的提法及分类 25
2.2 最优化问题举例 26
2.3 无约束极值问题算法综述 30
2.3.1 下降算法 31
2.3.2 算法收敛速度及终止法则 35
2.3.3 收敛性条件 39
第3章 一维搜索（寻查） 42
3.1 搜索（寻查）区间的确定 43
3.2 二分法 45
3.3 直接方法 46
3.3.1 0.618法（黄金分割法） 47
3.3.2 分数法（Fibonacci法） 49
第4章 Newton方法及其改进 54
4.1 Newton方法及其局限性 54
4.2 Newton算法的改进 56
4.3 特征值法（Greenstadt方法） 58
4.4 Newton算法的Gill和Murray修正方案 60
第5章 共轭方向法 64
5.1 共轭方向 64
5.2 共轭方向法 66
5.3.1 正定二次函数的基本算法 71
5.3 共轭梯度法 71
5.3.2 基本性质 74
5.3.3 一般函数的共轭梯度法 75
第6章 拟Newton法 79
6.1 尺度矩阵意义下的最速下降方法 79
6.2 DFP公式及DFP算法 81
6.2.1 DFP公式及其基本性质 81
6.2.2 DFP算法 83
6.2.3 DFP算法的二次收敛性质 85
6.3 DFP对偶公式及其等价形式 88
6.3.1 DFP对偶公式及其基本性质 88
6.3.2 DFP对偶公式的几种等价形式 89
6.4 DFP对偶算法 91
6.4.1 修正矩阵Bk＋1的LDLT分解 92
6.4.2 带LDLT分解的DFP对偶算法 96
第7章 直接搜索方法 99
7.1 单纯形替换法 99
7.1.1 Rn中的单纯形 99
7.1.2 单纯形替换算法 103
7.2 方向加速法 107
7.2.1 基本定理及Powell基本算法 107
7.2.2 Powell算法的方向调整原理 112
7.2.3 Powell算法方向调整的判别准则 114
8.1 观测数据的最小二乘拟合 120
第8章 线性最小二乘法 120
8.1.1 残差 121
8.1.2 最小二乘拟合的数学模型 122
8.2 超定方程组及其最小二乘解 123
8.2.1 超定方程组的最小二乘解 123
8.2.2 最小二乘解的存在性及唯一性 126
8.2.3 举例 129
8.3 Golub方法（用正交分解求最小二乘解） 132
8.3.1 矩阵的正交分解 132
8.3.2 Golub算法 135
附录Ⅰ 初等反射矩阵（H矩阵）及其性质 141
9.1.2 问题的形成 146
9.1.1 问题的提出 146
9.1 非线性最小二乘法问题 146
第9章 非线性最小二乘法 146
9.1.3 解法概述 149
9.2 Gauss-Newton算法（简称G-N算法） 150
9.2.1 G-N方向的构造 150
9.2.2 G-N算法及其局部收敛性质 151
9.3 修正的G-N算法（Hartley方法） 157
9.4 Levenberg-Marquarat算法（简称L-M算法） 159
9.4.1 L-M算法的基本想法 159
9.4.2 L-M算法的基础定理 160
9.4.3 L-M算法 165
9.4.4 L-M算法的收敛性质 166
附录Ⅱ 最优化方法的发展进程 169
无约束最优化方法习题 174
下篇 约束最优化方法 182
第10章 线性规划及其解法 182
10.1 线性规划问题举例 182
10.2 线性规划问题的基本概念及解的性质 184
10.2.1 线性规划模型的一般形式 184
10.2.2 线性规划问题解的概念 185
10.2.3 线性规划问题解的性质 187
10.3 单纯形法 191
10.3.1 单纯形法原理 191
10.3.2 用人工变量法找初始可行基——大M法和两段单纯形法 195
10.3.3 修正单纯形法 200
10.4.1 对偶问题举例 204
10.4 线性规划的对偶问题 204
10.4.2 原问题与对偶问题的关系 206
10.4.3 对偶问题的基本定理 208
10.4.4 对偶单纯形法 212
第11章 整数规划 215
11.1 整数规划问题举例 215
11.2 整数规划的分枝定界法和割平面法 217
11.2.1 分枝定界法 217
11.2.2 割平面法 220
11.3 0-1规划 223
11.3.1 0-1规划举例 223
11.3.2 0-1规划的解法 224
11.4 指（分）派问题 227
11.4.1 指（分）派问题举例 227
11.4.2 匈牙利法 228
11.5 整数规划问题应用实例 231
第12章 约束最优化问题的最优性条件 234
12.1 约束最优化问题的数学描述 234
12.1.1 全局解与局部解 234
12.1.2 凸规划 235
12.2 几何最优性条件 237
12.2.1 必要条件 237
12.2.2 充分条件 242
12.3 引用Lagrange函数的最优性条件 243
12.3.1 必要条件 245
12.3.2 充分条件 249
第13章 非线性规划的对偶理论 252
13.1 Lagrange对偶问题与弱对偶性定理 252
13.2 鞍点判别条件 255
13.3 扩展的对偶定理 258
第14章 可行方向法 261
14.1 可行方向法 261
14.1.1 线性约束的情形 264
14.1.2 非线性约束的情形 270
14.2 投影梯度法 277
14.3 既约梯度法 284
15.1.1 罚函数法 292
第15章 罚函数法 292
15.1 罚函数法 292
15.1.2 罚函数法的收敛性质 295
15.2 障碍函数法 297
15.2.1 算法的构成 297
15.2.2 障碍函数法的收敛性定理 300
15.3 广义Lagrange乘子法 301
15.3.1 等式约束下的广义乘子法 302
15.3.2 不等式约束下的广义乘子法 305
15.3.3 等式与不等式约束下的广义乘子法 306
15.4 精确罚函数法 308
15.4.1 非线性等式约束问题的可微精确罚函数法 308
15.4.2 一般非线性约束问题的可微精确罚函数法 309
第16章 二次规划 311
16.1 二次规划问题及其k-T条件 311
16.2 Lemke算法 313
16.3 Wolfe方法 317
16.4 序列二次规划法 320
第17章 离散系统的动态规划方法 324
17.1 多阶段决策问题（引例及相关基本概念） 324
17.2 多阶段决策问题的数学描述 327
17.2.1 数学模型 327
17.2.2 Bellman最优性原理 327
17.2.3 动态规划基本定理 328
17.3 求解多阶段决策问题的动态规划方法 330
17.4 多阶段决策问题实例分析 334
17.5 离散线性二次型系统的动态规划方法 338
第18章 现代优化方法简介 342
18.1 随机试验法 342
18.2 禁忌搜索算法 346
18.2.1 禁忌搜索算法的主要步骤 346
18.2.2 禁忌搜索算法的特征 347
18.3 模拟退火算法 350
18.3.1 模拟退火算法的基本原理 351
18.3.2 模拟退火算法的基本步骤和实现的技术问题 352
18.4 遗传算法 356
18.4.1 遗传算法的基本原理和步骤 356
18.4.2 遗传算法的技术问题 357
18.5.1 人工神经网络的基本概念 361
18.5 神经网络算法 361
18.5.2 人工神经网络的基本模型 362
18.5.3 前向型人工神经网络 365
18.5.4 反馈型神经网络——Hopfield模型 369
附录Ⅲ Matlab及其应用 371
1.1 Matlab简介 371
1.1.1 数学软件 371
1.1.2 什么是Matlab 371
1.1.3 Matlab的主要用途 375
1.1.4 几点说明 376
1.1.5 矩阵运算 376
1.2.1 无约束极值算例 380
1.2 最优化方法计算 380
1.2.2 约束极值 382
1.2.3 线性最小二乘问题 385
1.2.4 非线性最小二乘问题 387
1.3 数据分析 389
1.3.1 数据的输入和输出 389
1.3.2 列数据分析 391
1.3.3 实测数据归一化（标准化） 392
1.3.4 多项式拟合 393
1.3.5 多元线性回归 396
约束最优化方法习题 399
参考文献 410