第一部分 数学知识回顾 2
第1章 证明方法与相关记法 2
1.1 证明方法 2
1.2 记法 3
习题 4
第2章 向量空间与矩阵 5
2.1 向量与矩阵 5
2.2 矩阵的秩 9
2.3 线性方程组 12
2.4 内积和范数 14
习题 16
第3章 变换 18
3.1 线性变换 18
3.2 特征值与特征向量 18
3.3 正交投影 21
3.4 二次型函数 22
3.5 矩阵范数 26
习题 29
第4章 有关几何概念 32
4.1 线段 32
4.2 超平面与线性簇 32
4.3 凸集 33
4.4 邻域 35
4.5 多面体和多胞形 36
习题 36
第5章 微积分基础 37
5.1 序列与极限 37
5.2 可微性 42
5.3 导数矩阵 43
5.4 微分法则 46
5.5 水平集与梯度 47
5.6 泰勒级数 50
习题 54
第二部分 无约束优化问题 56
第6章 集合约束和无约束优化问题的基础知识 56
6.1 引言 56
6.2 局部极小点的条件 57
习题 65
第7章 一维搜索方法 71
7.1 引言 71
7.2 黄金分割法 71
7.3 斐波那契数列法 74
7.4 二分法 81
7.5 牛顿法 81
7.6 割线法 84
7.7 划界法 86
7.8 多维优化问题中的一维搜索 87
习题 88
第8章 梯度方法 91
8.1 引言 91
8.2 最速下降法 92
8.3 梯度方法性质分析 98
习题 107
第9章 牛顿法 111
9.1 引言 111
9.2 牛顿法性质分析 113
9.3 Levenberg-Marquardt修正 116
9.4 牛顿法在非线性最小二乘问题中的应用 116
习题 119
第10章 共轭方向法 120
10.1 引言 120
10.2 基本的共轭方向算法 121
10.3 共轭梯度法 125
10.4 非二次型问题中的共轭梯度法 128
习题 130
第11章 拟牛顿法 133
11.1 引言 133
11.2 黑塞矩阵逆矩阵的近似 134
11.3 秩1修正公式 136
11.4 DFP算法 140
11.5 BFGS算法 144
习题 147
第12章 求解线性方程组 151
12.1 最小二乘分析 151
12.2 递推最小二乘算法 158
12.3 线性方程组的最小范数解 161
12.4 Kaczmarz算法 162
12.5 一般意义下的线性方程组的求解 165
习题 171
第13章 无约束优化问题和神经网络 176
13.1 引言 176
13.2 单个神经元训练 177
13.3 反向传播算法 179
习题 187
第14章 全局搜索算法 189
14.1 引言 189
14.2 Nelder-Mead单纯形法 189
14.3 模拟退火法 192
14.4 粒子群优化算法 195
14.5 遗传算法 197
习题 207
第三部分 线性规划 210
第15章 线性规划概述 210
15.1 线性规划简史 210
15.2 线性规划的简单例子 211
15.3 二维线性规划 216
15.4 凸多面体和线性规划 217
15.5 线性规划问题的标准型 218
15.6 基本解 222
15.7 基本解的性质 225
15.8 几何视角下的线性规划 227
习题 230
第16章 单纯形法 233
16.1 利用行变换求解线性方程组 233
16.2 增广矩阵的规范型 238
16.3 更新增广矩阵 239
16.4 单纯形法 240
16.5 单纯形法的矩阵形式 245
16.6 两阶段单纯形法 248
16.7 修正单纯形法 251
习题 254
第17章 对偶 259
17.1 对偶线性规划 259
17.2 对偶问题的性质 265
习题 270
第18章 非单纯形法 275
18.1 引言 275
18.2 Khachiyan算法 276
18.3 仿射尺度法 278
18.4 Karmarkar算法 282
习题 291
第19章 整数规划 293
19.1 概述 293
19.2 幺模矩阵 293
19.3 Gomory割平面法 299
习题 305
第四部分 有约束的非线性优化问题 308
第20章 仅含等式约束的优化问题 308
20.1 引言 308
20.2 问题描述 309
20.3 切线空间和法线空间 310
20.4 拉格朗日条件 314
20.5 二阶条件 321
20.6 线性约束下二次型函数的极小化 324
习题 328
第21章 含不等式约束的优化问题 331
21.1 卡罗需－库恩－塔克（Karush-Kuhn-Tucker）条件 331
21.2 二阶条件 338
习题 341
第22章 凸优化问题 346
22.1 引言 346
22.2 凸函数 347
22.3 凸优化问题 354
22.4 半定规划 358
习题 369
第23章 有约束优化问题的求解算法 374
23.1 引言 374
23.2 投影法 374
23.3 求解含线性约束优化问题的投影梯度法 376
23.4 拉格朗日法 380
23.5 罚函数法 385
习题 390
第24章 多目标优化 393
24.1 引言 393
24.2 帕累托解 393
24.3 帕累托前沿的求解 395
24.4 多目标优化到单目标优化的转换 398
24.5 存在不确定性的线性规划 400
习题 405
参考文献 408