广义最小二乘问题的理论和计算PDF电子书下载

§1.1　引言 1

第一章　预备知识 1

§1.2　特征值和特征向量 2

§1.3　矩阵分解 4

1.3.1　若干基本分解 4

1.3.2　SVD的推广 6

§1.4　Hermite矩阵的特征值和矩阵的奇异值 13

1.4.1　Hermite矩阵特征值的极小极大定理 13

1.4.2　矩阵奇异值的极小极大定理 15

1.5.1 Moore-Penrose逆 16

§1.5　广义逆 16

1.5.2　其他广义逆 19

§1.6　投影 20

1.6.1　幂等矩阵和投影 21

1.6.2　正交投影 23

1.6.3　投影AA？和A？A的几何意义 24

§1.7　范数 25

1.7.1　向量范数 25

1.7.2　矩阵范数 28

1.8.1　Binet-Cauchy公式 34

§1.8　行列式，Hadamard不等式和Kronecker乘积 34

1.8.2　Hadamard不等式 36

1.8.3　Kronecker乘积 37

§1.9　矩阵广义逆的进一步讨论 39

1.9.1　矩阵乘积广义逆的反序律 40

1.9.2　加边矩阵的广义逆 43

1.9.3　矩阵加权广义逆的结构 46

习题一 53

2.1.1　von Neumann定理 57

§2.1　酉不变范数的性质 57

第二章　奇异值，奇异子空间和MP逆的扰动 57

2.1.2　SG函数 60

2.1.3　酉不变范数的性质 62

§2.2　奇异值的扰动和降秩最佳逼近 64

2.2.1　奇异值的扰动 64

2.2.2　降秩最佳逼近 65

§2.3　正交投影和奇异子空间的扰动 68

§2.4　MP逆的扰动 77

习题二 80

§3.1　线性最小二乘问题 84

第三章　线性最小二乘问题 84

3.1.1　线性最小二乘及其等价性问题 85

3.1.2　LS问题的正则化 87

§3.2　LS问题的扰动 89

§3.3　若干矩阵方程的LS解 94

§3.4　加权最小二乘问题 98

§3.5　WLS问题的误差估计 101

3.5.1　第一种类型的误差界 102

3.5.2　第二种类型的误差界 104

习题三 105

第四章　总体最小二乘问题 107

§4.1　总体最小二乘问题及其解集 107

4.1.1　总体最小二乘问题的定义 107

4.1.2　TLS问题的解集 114

§4.2　TLS和截断的LS问题的扰动 116

4.2.1　TLS问题的扰动 117

4.2.2　截断的LS问题的扰动 123

§4.3　TLS和截断的LS问题的比较 125

4.3.1　TLS和截断的LS问题的解的比较 126

4.3.2　TLS和截断的LS问题残量的比较 128

4.3.3　TLS和截断的LS问题极小F范数修正矩阵的比较 130

4.3.4　一个实例 133

§4.4　推广的降秩最佳逼近定理 134

§4.5 LS-TLS问题 141

§4.6　约束总体最小二乘问题 146

习题四 150

第五章　等式约束最小二乘问题 153

§5.1　等式约束最小二乘问题 153

5.1.1　等式约束最小二乘问题的定义与解集 153

5.1.2　等式约束最小二乘问题的等价性问题 155

5.2.1 WLS问题的KKT方程 161

§5.2 关于KKT方程 161

5.2.2　LSE和WLS问题的KKT方程解的比较 163

5.2.3　对应于B和B（？）零特征值的特征子空间 165

§5.3　LSE问题的误差估计 165

§5.4　等式约束加权最小二乘问题 175

5.4.1　等式约束加权最小二乘问题的定义与解集 175

5.4.2　加权最小二乘问题的等价性问题 176

§5.5　WLSE问题的扰动 178

§5.6　多重约束MP逆和多重约束最小二乘问题 182

§5.7　嵌入总体最小二乘问题 186

习题五 193

第六章　加权MP逆和约束加权MP逆的上确界 195

§6.1　基本问题 195

§6.2　加权MP逆的上确界 198

§6.3　约束加权MP逆的上确界 203

§6.4　双侧加权MP逆的上确界 210

习题六 213

第七章　WLS问题和WLSE问题的稳定性扰动 215

§7.1 加权MP逆和约束加权MP逆的稳定性 215

7.1.1　加权MP逆的稳定性 215

7.1.2　约束加权MP逆的稳定性 218

7.1.3　双侧加权MP逆的稳定性 222

§7.2　加权投影矩阵的扰动上界 224

§7.3　加权最小二乘问题的稳定性扰动 232

§7.4　约束加权最小二乘问题的稳定性扰动 235

习题七 240

第八章　刚性加权最小二乘问题 242

§8.1　预备知识 242

§8.2　刚性加权最小二乘和多重约束最小二乘问题 245

§8.3　刚性加权投影矩阵和刚性加权MP逆的扰动 248

§8.4　刚性加权最小二乘问题的扰动 256

习题八 257

第九章　广义最小二乘问题的直接解法 258

§9.1　基本知识 258

9.1.1　算法和浮点运算 258

9.1.2　正定矩阵线性方程组的数值计算 259

9.1.3　矩阵的预条件处理 261

§9.2　正交分解的数值计算 262

9.2.1　QR分解 262

9.2.2　完全正交分解 272

9.2.3　奇异值分解 274

§9.3　最小二乘问题的直接解法 276

9.3.1　QR分解方法 276

9.3.2　法方程法 277

9.3.3　完全正交分解方法 277

9.3.4　SVD方法 278

§9.4　总体最小二乘问题的直接解法 278

9.4.1　基本SVD方法 278

9.4.2　完全正交方法 279

9.4.3　Cholesky分解法 279

9.5.1　零空间法 280

§9.5　约束最小二乘问题的数值解法 280

9.5.2　加权LS法 281

9.5.3　直接消去法 281

9.5.4　QR分解和Q-SVD方法 284

§9.6　刚性WLS问题和刚性WLSL问题的直接解法 285

9.6.1　行稳定的QR分解 285

9.6.2　刚性WLS问题的稳定解法 287

9.6.3　刚性WLSE问题的稳定解法 290

习题九 290

10.1.1　Chebyshev多项式 292

第十章　广义最小二乘问题的迭代解法 292

§10.1　基本知识 292

10.1.2　分裂迭代法的基本理论 295

10.1.3　实对称三对角矩阵的特征值的范围 299

§10.2　最小二乘解的迭代算法 301

10.2.1　分裂迭代法 301

10.2.2　Krylov子空间法 306

10.2.3　预条件对称－反对称分裂迭代法 314

§10.3　总体最小二乘问题的迭代解法 318

10.3.1　部分SVD方法 318

10.3.2　双对角化方法 319

§10.4　刚性加权最小二乘问题的迭代解法 321

习题十 323

第十一章　非线性最小二乘问题的迭代解法 325

§11.1　基本知识 325

11.1.1　Gateaux导数和Frechet导数 325

11.1.2　基本算法 327

§11.2 Gauss-Newton型方法 327

11.2.1 Gauss-Newton方法 328

11.2.2　阻尼Gauss-Newton方法 328

11.2.3　信赖域方法 330

§11.3　Newton型方法 331

11.3.1　Newton迭代法 331

11.3.2　混合Newton迭代法 331

11.3.3　拟Newton迭代法 332

§11.4　可分离问题和约束问题 333

11.4.1　可分离问题 333

11.4.2　约束非线性最小二乘问题 334

习题十一 336

参考文献 338

《大学数学科学丛书》已出版书目 351