矩阵分析与应用PDF电子书下载

第1章　矩阵与线性方程组 1

1.1　矩阵的基本运算 1

1.1.1　矩阵与向量 1

1.1.2　矩阵的基本运算 3

1.1.3　向量的线性无关性与非奇异矩阵 7

1.1.4　初等行变换与阶梯型矩阵 8

1.1.5　基于初等行变换的矩阵方程求解 10

1.2　向量空间、内积空间与线性映射 14

1.2.1　集合的基本概念 14

1.2.2　向量空间 15

1.2.3　实内积空间 18

1.2.4　复内积空间 21

1.2.5　线性映射 22

1.3　随机向量 26

1.3.1　概率密度函数 26

1.3.2　随机向量的统计描述 28

1.3.3　正态随机向量 32

1.4　内积与范数 34

1.4.1　向量的内积与范数 35

1.4.2　向量的相似度 39

1.4.3　正交向量在移动通信中的应用 41

1.4.4　向量范数用作Lyapunov函数 43

1.4.5　矩阵的范数与内积 44

1.5　基与Gram-Schmidt正交化 47

1.5.1　向量子空间的基 47

1.5.2 Gram-Schmidt正交化 50

1.6　矩阵的标量函数 52

1.6.1　矩阵的二次型 53

1.6.2　矩阵的迹 54

1.6.3　行列式 56

1.6.4　矩阵的秩 59

1.7.1　逆矩阵的定义与性质 64

1.7　逆矩阵 64

1.7.2　矩阵求逆引理 68

1.8 广义逆矩阵 71

1.8.1　左逆矩阵与右逆矩阵 72

1.8.2　广义逆矩阵的定义及性质 74

1.8.3　广义逆矩阵的计算 77

1.8.4　一致方程的最小范数解 80

1.8.5　非一致方程的最小二乘解 83

1.9 Moore-Penrose逆矩阵 85

1.9.1 Moore-Penrose逆矩阵的定义与性质 85

1.9.2 Moore-Penrose逆矩阵的计算 90

1.9.3　非一致方程的最小范数最小二乘解 94

1.9.4 广义逆矩阵的阶数递推计算 95

1.9.5　超定二维超越方程的求解 96

1.10 Hadamard积与Kronecker积 100

1.10.1　矩阵的直和 100

1.10.2 Hadamard积 101

1.10.3　矩阵化函数和向量化函数 105

1.10.4 Kronecker积 107

1.10.5 Kronecker积的应用 114

本章小结 118

习题 118

2.1 对称矩阵、Hermitian矩阵与循环矩阵 133

第2章　特殊矩阵 133

2.2　基本矩阵 136

2.3　置换矩阵、互换矩阵与选择矩阵 139

2.3.1　置换矩阵与互换矩阵 139

2.3.2 广义置换矩阵 143

2.3.3　选择矩阵 144

2.4　正交矩阵与酉矩阵 145

2.5　带型矩阵与三角矩阵 150

2.5.1　带型矩阵 150

2.5.2　三角矩阵 151

2.6.1　求和向量与中心化矩阵 153

2.6　中心化矩阵与对角加矩阵 153

2.6.2 对角加矩阵 156

2.7　相似矩阵与相合矩阵 158

2.7.1　相似矩阵 158

2.7.2　相合矩阵 160

2.8 Vandermonde矩阵与Fourier矩阵 161

2.8.1 Vandermonde矩阵 162

2.8.2 Fourier矩阵 166

2.9 Hankel矩阵 169

2.10 Hadamard矩阵 172

习题 174

本章小结 174

第3章　Toeplitz矩阵 179

3.1　半正定性 179

3.2 Toeplitz线性方程组的Levinson递推求解 181

3.2.1　经典Levinson递推 182

3.2.2 Levinson算法 183

3.2.3　分基Schur算法 189

3.2.4 HermitianLevinson递推 190

3.2.5　多信道Toeplitz线性方程组的Levinson递推求解 194

3.3　求解Toeplitz线性方程组的快速算法 195

3.3.1　循环镶嵌 196

3.3.2 Toeplitz矩阵的部分求逆 197

3.3.3 Toeplitz线性方程组求解 198

3.4 Toeplitz矩阵的快速余弦变换 200

本章小结 204

第4章　矩阵的变换与分解 205

4.1 Householder变换 205

4.1.1 Householder变换与Householder矩阵 206

4.1.2 Householder变换的保范性 208

4.1.3 Householder变换算法 210

4.2.1　反射与旋转 214

4.2 Givens旋转 214

4.2.2 Givens旋转 216

4.2.3　快速Givens旋转 218

4.2.4 Kogbetliantz算法 220

4.3　矩阵的标准型 221

4.4　矩阵分解的分类 222

4.5　对角化分解 224

4.6 Cholesky分解与LU分解 225

4.6.1 Cholesky分解 225

4.6.2 LU分解 227

4.7.1 QR分解的性质 229

4.7 QR分解及其应用 229

4.7.2　采用修正Gram-Schmidt法的QR分解 230

4.7.3 HouseholderQR分解 232

4.7.4 采用Givens旋转的QR.分解 236

4.7.5 基于QR分解的参数估计问题 237

4.7.6 基Householder变换的快速时变参数估计 240

4.7.7 基于Givens旋转的时变参数估计 242

4.8 三角-对角化分解 244

4.8.1 LDMT和LDLT分解 244

4.8.2 Schur分解 245

4.9　三对角化分解 248

4.10　矩阵束的分解 250

本章小结 252

习题 252

第5章　梯度分析与最优化 255

5.1　梯度与无约束最优化 255

5.1.1　目标函数的极小点 255

5.1.2　实值函数相对于实向量的梯度 258

5.1.3　实值函数的梯度矩阵 261

5.1.4　迹函数的梯度矩阵 262

5.1.5　行列式的梯度矩阵 266

5.1.6 Hessian矩阵 268

5.1.7　局部极小点的条件 270

5.2　矩阵微分及其在最优化中的应用 271

5.2.1　矩阵微分与偏导 271

5.2.2　标量函数的梯度 277

5.2.3　二阶微分矩阵与Hessian矩阵 282

5.3　共轭梯度与无约束最优化 285

5.3.1　实值函数相对于复变量的偏导数 286

5.3.2　标量函数相对于复向量的梯度 287

5.3.3　迹函数的共轭梯度 292

5.3.4 Hessian矩阵（共轭梯度的梯度） 295

5.4　约束最优化 297

5.4.1 部解的一阶必要条件 298

5.4.2 局部解的二阶条件 302

5.4.3　线性约束的消去 304

5.4.4　线性约束的二次规划 305

5.5　梯度算法 310

5.5.1　统计逼近法 310

5.5.2 LMS算法及其变型 312

5.5.3　解相关LMS算法 314

5.6　递推最小二乘算法 317

5.7　共轭梯度算法 320

5.7.1　共轭方向算法 321

5.7.2　共轭梯度算法 326

5.7.3　自适应滤波的共轭梯度算法 329

5.8　仿射投影算法 331

5.9　自然梯度算法 333

本章小结 336

习题 336

第6章　奇异值分析 341

6.1　数值稳定性与条件数 341

6.2　奇异值分解 344

6.2.1　奇异值分解及其解释 344

6.2.2　奇异值的性质 348

6.2.3　奇异值的性质汇总 352

6.2.4　秩亏缺最小二乘解 354

6.3　奇异值分解的数值计算 358

6.3.1　奇异值分解的QR分解算法 359

6.3.2　奇异值分解的精确计算 360

6.4　乘积奇异值分解 361

6.4.1　乘积奇异值分解问题 362

6.4.2　乘积奇异值分解的三角型Kogbetliantz算法 363

6.4.3　乘积奇异值分解的精确计算 365

6.5　广义奇异值分解 367

6.5.1　对称正定问题 367

6.5.2 广义奇异值分解 369

6.5.3 广义奇异值分解的实际算法 374

6.5.4　二次型不等式约束最小二乘 378

6.6　约束奇异值分解 381

6.6.1　约束奇异值 381

6.6.2　约束奇异值分解 383

6.7 结构奇异值 385

6.7.1　结构奇异值的定义与性质 385

6.7.2 结构奇异值的计算 387

6.8　奇异值分解的应用 389

6.8.1　静态系统的奇异值分解 390

6.8.2　系统辨识 392

6.8.3　阶数确定 394

6.8.4　系统的可控性 397

6.8.5　图像压缩 398

6.9　广义奇异值分解的应用 398

本章小结 400

习题 401

第7章　总体最小二乘方法 403

7.1　最小二乘方法 403

7.1.1　参数的唯一可辨识性 403

7.1.2 Gauss-Markov定理 405

7.2.1　总体最小二乘解 408

7.2　总体最小二乘：理论与方法 408

7.2.2　总体最小二乘解的性能 413

7.3　总体最小二乘：应用 418

7.3.1　总体最小二乘拟合 418

7.3.2　频率估计的总体最小二乘法 423

7.3.3 FIR自适应滤波的总体最小二乘算法 428

7.4　约束总体最小二乘 431

7.4.1　约束总体最小二乘方法 432

7.4.2　约束总体最小二乘与极大似然的关系 435

7.4.3　约束总体最小二乘解的扰动分析 437

7.4.4　应用 439

7.4.5　正则化约束总体最小二乘图像恢复 440

7.5　结构总体最小二乘 442

7.5.1　结构总体最小二乘解 442

7.5.2　逆迭代算法 443

7.5.3　约束总体最小二乘与结构总体最小二乘的等价性 445

7.5.4　秩亏缺Hankel矩阵逼近 446

7.5.5　有噪声的实现问题 447

本章小结 450

习题 451

8.1.1　特征值问题 453

8.1　特征值问题与特征方程 453

第8章　特征分析 453

8.1.2　特征多项式 454

8.2　特征值与特征向量 456

8.2.1　特征值 456

8.2.2　特征向量 458

8.2.3　与其他矩阵函数的关系 462

8.2.4　特征值和特征向量的性质 466

8.2.5　矩阵的可对角化定理 471

8.3.1 Cayley-Hamilton定理 474

8.3 Cayley-Hamilton定理及其应用 474

8.3.2　逆矩阵和广义逆矩阵的计算 476

8.3.3　矩阵幂的计算 478

8.3.4　矩阵指数函数的计算 479

8.4 Hermitian矩阵的特征值分解 484

8.4.1 Hermitian矩阵的特征值和特征向量 485

8.4.2 Hermitian矩阵的正定性 487

8.4.3　对称正定特征值问题的Jacobi算法 492

8.5 Fourier矩阵与Toeplitz矩阵的特征值分解 493

8.5.1 Fourier矩阵的特征值 493

8.5.2　Toeplitz矩阵的特征值分解 495

8.6.1　特征问题的扰动分析 498

8.6　特征问题与奇异值问题的扰动分析 498

8.6.2　奇异值问题的扰动分析 500

8.7　特征值分解的几种典型应用 501

8.7.1　标准正交变换与迷向圆变换 501

8.7.2 Pisarenko谐波分解 503

8.7.3　离散Karhunen-Loeve变换 506

8.7.4　主分量分析 508

8.7.5　降秩Wiener滤波器 513

8.8　广义特征值分解 515

8.8.1　广义特征值分解及其性质 516

8.8.2　广义特征值分解算法 519

8.8.3　广义特征值分解的总体最小二乘方法 520

8.8.4　应用举例——ESPRIT方法 521

8.8.5　相似变换在广义特征值分解中的应用 525

8.9 Rayleigh商 528

8.9.1 Rayleigh商 528

8.9.2　应用举例1：特征滤波器 532

8.9.3　应用举例2：快速最大似然序列解码 535

8.9.4 Rayleigh商迭代 537

8.9.5　Rayleigh商问题求解的共轭梯度算法 538

8.10　广义Rayleigh商 540

8.10.1　广义Rayleigh商 540

8.10.2　应用举例1：类鉴别有效性的评估 541

8.10.3　应用举例2：干扰抑制的鲁棒波束形成 546

8.11　二次特征值问题 548

8.11.1　二次特征值问题的描述 548

8.11.2　二次特征值问题求解 550

8.11.3　λ矩阵的逆矩阵 555

8.11.4　应用举例1：AR参数估计 558

8.11.5　应用举例2：约束最小二乘 560

8.11.6　应用举例3：多输入-多输出系统 561

8.12　联合对角化 562

8.12.1　联合对角化问题 562

8.12.2　近似联合对角化算法 565

8.12.3　近似联合对角化的另一种解法 569

8.13　特征分析与Fourier分析 571

8.13.1　线性算子 571

8.13.2 Fourier分析与特征分析 573

本章小结 579

习题 579

第9章　子空间分析与跟踪 589

9.1　子空间的一般理论 589

9.1.1　子空间的基 589

9.1.2　无交连、正交与正交补 592

9.1.3　子空间的正交投影与夹角 595

9.1.4　主角与补角 597

9.1.5　子空间的旋转 598

9.1.6　信号空间的线性无关性 599

9.2　列空间、行空间与零空间 601

9.2.1　矩阵的列空间、行空间与零空间 601

9.2.2　子空间的基构造：初等变换法 605

9.2.3　基本空间的标准正交基构造：奇异值分解法 609

9.2.4　构造两个零空间交的标准正交基 612

9.3　子空间方法 613

9.3.1　信号子空间与噪声子空间 613

9.3.2　子空间方法1：多重信号分类（MUSIC） 615

9.3.3　子空间方法2：方程X＝AS求解 617

9.3.4　子空间白化 619

9.4　子空间跟踪方法的分类 621

9.5　基于扰动理论的子空间跟踪 622

9.5.1　秩1更新与扰动理论 623

9.5.2　无退化扰动子空间跟踪 625

9.5.3　退化扰动子空间跟踪 628

9.6　修正特征值分解及其递推更新 630

9.6.1　修正特征值问题 630

9.6.2　秩1修正 634

9.6.3　秩2修正 636

9.7.1 Grassmann流形和Stiefel流形 637

9.7　基于优化理论的子空间跟踪 637

9.7.2　投影逼近子空间跟踪 642

9.8　快速子空间分解 647

9.8.1 Rayleigh-Ritz逼近 647

9.8.2　基于三Lanczos迭代的快速子空间分解 650

9.8.3　基于双Lanczos迭代的快速子空间分解 651

本章小结 652

习题 653

10.1　投影与正交投影 657

第10章　投影分析 657

10.1.1　投影定理 658

10.1.2　均方估计 660

10.2　投影矩阵与正交投影矩阵 662

10.2.1　幂等矩阵 662

10.2.2　从数学角度看投影矩阵 664

10.2.3　从信号处理角度看投影矩阵 668

10.2.4　到列空间的投影矩阵与正交投影矩阵 669

10.2.5　正交投影矩阵 671

10.2.6　投影矩阵的导数 672

10.3.1　投影梯度 674

10.3　投影矩阵与正交投影矩阵的应用举例 674

10.3.2　解相关 676

10.3.3　前向预测滤波器的表示 677

10.3.4 后向预测滤波器的表示 678

10.4　投影矩阵和正交投影矩阵的更新 681

10.5　格型自适应滤波器设计 682

10.6　满列秩矩阵的斜投影算子 687

10.6.1　斜投影算子的定义 688

10.6.2　斜投影算子的性质 690

10.6.3　斜投影算子的几何解释 694

10.6.4　主角与斜投影矩阵的关系 696

10.6.5　多个子空间的斜投影算子 697

10.7　满行秩矩阵的斜投影算子 698

10.7.1 满行秩矩阵的斜投影算子定义 699

10.7.2　斜投影的计算 700

10.8　斜投影算子的应用 702

10.8.1　系统建模 702

10.8.2　信道与字符联合估计 704

本章小结 708

习题 708

参考文献 711

索引 737