非线性方程组解法与最优化方法PDF电子书下载

第一章 非线性方程组的迭代解法 1

§1 预备知识 3

1．1 多元函数的可微性及中值定理 3

1．2 向量值函数的可微性 7

1．3 向量值函数的高阶导数 12

§2 简单迭代法 16

2．1 简单迭代法及其收敛性 16

2．2 简单迭代法的一个改进方案 24

§3 解非线性方程组的牛顿法 28

3．1 牛顿法的构成 29

3．2 牛顿法的收敛性 33

3．3 牛顿法的变形 39

§4 解牛顿方程组的直接方法 44

4．1 LU分解 45

4．2 正交三角分解（QR分解） 52

§5 解牛顿方程组的松弛型方法 59

5．1 牛顿-SOR方法 61

5．2 牛顿-ADI方法 69

§6 解非线性方程组的割线法 74

6．1 割线法的一般讨论 74

6．2 几个特殊的割线法 77

6．3 割线法的收敛性分析 88

§7 解非线性方程组的拟牛顿法 101

7．1 拟牛顿法的一般讨论 101

7．2 秩1算法 105

7．3 秩2算法 110

本章参考资料 114

第二章 无约束最优化方法 117

§1 多元函数极值理论简介 118

1．1 极值概念 118

1．2 无约束函数极值的必要和充分条件 120

1．3 凸函数及其极值性质 123

§2 搜索算法概述与几个一维搜索法 129

2．1 搜索算法概述 130

2．2 一维搜索的几个算法 134

§3 梯度法 139

3．1 梯度法的形成 139

3．2 梯度法的收敛性 142

3．3 讨论与改进 149

§4 共轭方向法 153

4．1 共轭方向概念 153

4．2 共轭方向法 156

§5 共轭梯度法与记忆梯度法 159

5．1 正定二次函数的共轭梯度法 160

5．2 非二次函数的共轭梯度法及其收敛性 166

5．3 记忆梯度法 173

§6 变尺度法 181

6．1 变尺度法的基本思想 182

6．2 变尺度法的一般讨论 185

6．3 几个特殊的变尺度算法类 195

§7 直接搜索法 208

7．1 模式搜索法（Hooke-Jeeve方法） 208

7．2 单纯形法 211

7．3 方向加速法（Powell方法） 214

§8 约束最优化问题的制约函数法 221

8．1 SUMT-外点法 222

8．2 SUMT-内点法 229

本章参考资料 232

第三章 非线性最小二乘问题的计算方法 236

§1 非线性最小二乘法的一般讨论 238

2．1 高斯-牛顿算法 244

§2 高斯-牛顿法与阻尼最小二乘法 244

2．2 阻尼最小二乘法 247

2．3 阻尼因子的选择与算法的改进 251

2．4 算法的收敛性分析 258

§3 不依赖导数的算法 261

3．1 不依赖导数算法的一般讨论 262

3．2 相似算法的两个具体方案 263

3．3 相似算法的收敛性 268

本章参考资料 272