第1章 矩阵代数基础 1
1.1 矩阵的基本运算 1
1.1.1 矩阵与向量 1
1.1.2 矩阵的基本运算 4
1.1.3 向量的线性无关性与非奇异矩阵 8
1.2 矩阵的初等变换 9
1.2.1 初等行变换与阶梯型矩阵 9
1.2.2 初等行变换的两个应用 11
1.2.3 初等列变换 14
1.3 向量空间、线性映射与Hilbert空间 15
1.3.1 集合的基本概念 16
1.3.2 向量空间 17
1.3.3 线性映射 20
1.3.4 内积空间、赋范空间与Hilbert空间 23
1.4 内积与范数 26
1.4.1 向量的内积与范数 26
1.4.2 向量的相似比较 30
1.4.3 矩阵的内积与范数 32
1.5 随机向量 36
1.5.1 概率密度函数 36
1.5.2 随机向量的统计描述 38
1.5.3 高斯随机向量 41
1.6 矩阵的性能指标 43
1.6.1 矩阵的二次型 44
1.6.2 行列式 45
1.6.3 矩阵的特征值 47
1.6.4 矩阵的迹 49
1.6.5 矩阵的秩 51
1.7 逆矩阵与伪逆矩阵 54
1.7.1 逆矩阵的定义与性质 54
1.7.2 矩阵求逆引理 56
1.7.3 左逆矩阵与右逆矩阵 59
1.8 Moore-Penrose逆矩阵 61
1.8.1 Moore-Penrose逆矩阵的定义与性质 61
1.8.2 Moore-Penrose逆矩阵的计算 64
1.8.3 非一致方程的最小范数最小二乘解 67
1.9 矩阵的直和与Hadamard积 67
1.9.1 矩阵的直和 67
1.9.2 Hadamard积 68
1.10 Kronecker积与Khatri-Rao积 71
1.10.1 Kronecker积及其性质 71
1.10.2 广义Kronecner积 73
1.10.3 Khatri-Rao积 74
1.11 向量化与矩阵化 74
1.11.1 矩阵的向量化与向量的矩阵化 74
1.11.2 向量化算子的性质 77
1.12 稀疏表示与压缩感知 78
1.12.1 稀疏向量与稀疏表示 78
1.12.2 人脸识别的稀疏表示 80
1.12.3 稀疏编码 81
1.12.4 压缩感知的稀疏表示 82
本章小结 86
习题 86
第2章 特殊矩阵 101
2.1 Hermitian矩阵 101
2.2 置换矩阵、互换矩阵与选择矩阵 103
2.2.1 置换矩阵与互换矩阵 103
2.2.2 广义置换矩阵与选择矩阵 106
2.3 正交矩阵与酉矩阵 109
2.4 带型矩阵与三角矩阵 112
2.4.1 带型矩阵 112
2.4.2 三角矩阵 113
2.5 求和向量与中心化矩阵 115
2.5.1 求和向量 115
2.5.2 中心化矩阵 116
2.6 相似矩阵与相合矩阵 117
2.6.1 相似矩阵 117
2.6.2 相合矩阵 119
2.7 Vandermonde矩阵 120
2.8 Fourier矩阵 123
2.8.1 Fourier矩阵的定义与性质 123
2.8.2 适定方程计算的初等行变换方法 124
2.8.3 FFT算法的推导 126
2.9 Hadamard矩阵 129
2.10 Toeplitz矩阵 132
2.10.1 对称Toeplitz矩阵 132
2.10.2 Toeplitz矩阵的离散余弦变换 134
2.11 Hankel矩阵 136
本章小结 138
习题 138
第3章 矩阵微分 143
3.1 Jacobian矩阵与梯度矩阵 143
3.1.1 Jacobian矩阵 144
3.1.2 梯度矩阵 145
3.1.3 偏导和梯度计算 147
3.2 一阶实矩阵微分与Jacobian矩阵辨识 152
3.2.1 一阶实矩阵微分 152
3.2.2 标量函数的Jacobian矩阵辨识 153
3.2.3 实值矩阵函数的Jacobian矩阵辨识 161
3.3 二阶实矩阵微分与Hessian矩阵辨识 164
3.3.1 Hessian矩阵 164
3.3.2 Hessian矩阵的辨识原理 165
3.3.3 Hessian矩阵的辨识方法 168
3.4 共轭梯度与复Hessian矩阵 170
3.4.1 全纯函数与复变函数的偏导 170
3.4.2 复矩阵微分 174
3.4.3 复Hessian矩阵 179
3.5 复梯度矩阵与复Hessian矩阵的辨识 182
3.5.1 实标量函数的复梯度矩阵辨识 182
3.5.2 矩阵函数的复梯度矩阵辨识 184
3.5.3 复Hessian矩阵辨识 187
本章小结 189
习题 189
第4章 梯度分析与最优化 193
4.1 实变函数无约束优化的梯度分析 193
4.1.1 单变量函数f（x）的平稳点与极值点 194
4.1.2 多变量函数f（x）的平稳点与极值点 196
4.1.3 多变量函数f（X）的平稳点与极值点 198
4.1.4 实变函数的梯度分析 200
4.2 复变函数无约束优化的梯度分析 202
4.2.1 多变量复变函数f（z,z＊）的平稳点与极值点 202
4.2.2 多变量复变函数f（Z,Z＊）的平稳点与极值点 204
4.2.3 无约束最小化问题的梯度分析 206
4.3 凸优化理论 209
4.3.1 标准约束优化问题 209
4.3.2 凸集与凸函数 211
4.3.3 凸函数辨识的充分必要条件 214
4.3.4 凸优化方法及其梯度分析 216
4.4 平滑凸优化的一阶算法 222
4.4.1 梯度法与梯度投影法 222
4.4.2 共轭梯度算法 227
4.4.3 收敛速率 231
4.4.4 Nesterov最优梯度法 232
4.5 非平滑凸优化的次梯度法 240
4.5.1 次梯度与次微分 240
4.5.2 迫近函数 243
4.5.3 共轭函数 244
4.5.4 原始-对偶次梯度算法 246
4.5.5 投影次梯度法 248
4.6 非平滑凸函数的平滑凸优化 249
4.6.1 非平滑函数的平滑逼近 249
4.6.2 迫近梯度法 252
4.7 约束优化算法 256
4.7.1 Lagrangian乘子法与对偶上升法 256
4.7.2 罚函数法 257
4.7.3 增广Lagrangian乘子法 261
4.7.4 交替方向乘子法 263
4.8 Newton法 266
4.8.1 无约束优化的Newton法 266
4.8.2 无约束优化的复Newton法 268
4.8.3 等式约束优化的Newton法 269
4.8.4 等式约束优化的复Newton法 272
4.9 原始-对偶内点法 274
4.9.1 非线性优化的原始-对偶问题 274
4.9.2 一阶原始-对偶内点法 275
4.9.3 二阶原始-对偶内点法 277
本章小结 280
习题 280
第5章 奇异值分析 285
5.1 数值稳定性与条件数 285
5.2 奇异值分解 288
5.2.1 奇异值分解及其解释 288
5.2.2 奇异值的性质 292
5.2.3 秩亏缺最小二乘解 296
5.3 乘积奇异值分解 298
5.3.1 乘积奇异值分解问题 298
5.3.2 乘积奇异值分解的精确计算 299
5.4 奇异值分解的应用 301
5.4.1 静态系统的奇异值分解 301
5.4.2 图像压缩 304
5.5 广义奇异值分解 304
5.5.1 广义奇异值分解的定义与性质 304
5.5.2 广义奇异值分解的实际算法 307
5.5.3 高阶广义奇异值分解 310
5.5.4 应用 312
5.6 矩阵完备 313
5.6.1 矩阵恢复与矩阵分解 313
5.6.2 矩阵完备及其可辨识性 315
5.6.3 矩阵完备的奇异值阈值化法 319
本章小结 323
习题 323
第6章 矩阵方程求解 325
6.1 最小二乘方法 325
6.1.1 普通最小二乘 325
6.1.2 Gauss-Markov定理 327
6.1.3 普通最小二乘解与最大似然解的等价性 329
6.1.4 数据最小二乘 329
6.2 Tikhonov正则化与正则Gauss-Seidel法 330
6.2.1 Tikhonov正则化 330
6.2.2 正则Gauss-Seidel法 332
6.3 总体最小二乘 336
6.3.1 总体最小二乘问题 336
6.3.2 总体最小二乘解 337
6.3.3 总体最小二乘解的性能 341
6.3.4 总体最小二乘拟合 344
6.4 约束总体最小二乘 348
6.4.1 约束总体最小二乘方法 348
6.4.2 超分辨谐波恢复 350
6.4.3 正则化约束总体最小二乘图像恢复 351
6.5 盲矩阵方程求解的子空间方法 353
6.6 非负矩阵分解的优化理论 355
6.6.1 非负性约束与稀疏性约束 355
6.6.2 非负矩阵分解的数学模型及解释 356
6.6.3 散度与变形对数 360
6.7 非负矩阵分解算法 364
6.7.1 非负矩阵分解的乘法算法 364
6.7.2 投影梯度法和Nesterov最优梯度法 369
6.7.3 交替非负最小二乘算法 371
6.7.4 拟牛顿法与多层分解法 373
6.7.5 稀疏非负矩阵分解 374
6.8 稀疏矩阵方程求解：优化理论 377
6.8.1 L1范数最小化 377
6.8.2 RIP条件 379
6.8.3 与Tikhonov正则化最小二乘的关系 381
6.8.4 L1范数最小化的梯度分析 382
6.9 稀疏矩阵方程求解：优化算法 384
6.9.1 正交匹配追踪法 384
6.9.2 LASSO算法与LARS算法 386
6.9.3 同伦算法 389
6.9.4 Bregman迭代算法 390
本章小结 395
习题 396
第7章 特征分析 399
7.1 特征值问题与特征方程 399
7.1.1 特征值问题 399
7.1.2 特征多项式 401
7.2 特征值与特征向量 402
7.2.1 特征值 402
7.2.2 特征向量 403
7.2.3 与其他矩阵函数的关系 405
7.2.4 特征值和特征向量的性质 408
7.2.5 矩阵的可对角化定理 413
7.3 Cayley-Hamilton定理及其应用 415
7.3.1 Cayley-Hamilton定理 415
7.3.2 逆矩阵和广义逆矩阵的计算 417
7.3.3 矩阵幂的计算 418
7.3.4 矩阵指数函数的计算 420
7.4 特征值分解的几种典型应用 423
7.4.1 标准正交变换与迷向圆变换 423
7.4.2 Pisarenko谐波分解 426
7.4.3 离散Karhunen-Loeve变换 428
7.4.4 主分量分析 430
7.5 广义特征值分解 432
7.5.1 广义特征值分解及其性质 433
7.5.2 广义特征值分解算法 435
7.5.3 广义特征值分解的总体最小二乘方法 436
7.5.4 应用举例——ESPRIT方法 437
7.5.5 相似变换在广义特征值分解中的应用 440
7.6 Ruyleigh商 442
7.6.1 Rayleigh商的定义及性质 443
7.6.2 Rayleigh商迭代 444
7.6.3 Rayleigh商问题求解的共轭梯度算法 445
7.7 广义Rayleigh商 447
7.7.1 广义Rayleigh商的定义及性质 447
7.7.2 应用举例1：类鉴别有效性的评估 449
7.7.3 应用举例2：干扰抑制的鲁棒波束形成 450
7.8 二次特征值问题 452
7.8.1 二次特征值问题的描述 452
7.8.2 二次特征值问题求解 454
7.8.3 应用举例 458
7.9 联合对角化 462
7.9.1 联合对角化问题 462
7.9.2 正交近似联合对角化 464
7.9.3 非正交近似联合对角化 466
7.10 Fourier分析与特征分析 467
7.10.1 周期函数的Fourier分析 467
7.10.2 非周期函数的特征分析 469
本章小结 474
习题 474
第8章 子空间分析与跟踪 483
8.1 子空间的一般理论 483
8.1.1 子空间的基 483
8.1.2 无交连、正交与正交补 485
8.1.3 子空间的正交投影与夹角 488
8.1.4 主角与补角 490
8.1.5 子空间的旋转 491
8.2 列空间、行空间与零空间 492
8.2.1 矩阵的列空间、行空间与零空间 492
8.2.2 子空间的基构造：初等变换法 495
8.2.3 基本空间的标准正交基构造：奇异值分解法 498
8.2.4 构造两个零空间交的标准正交基 501
8.3 子空间方法 502
8.3.1 信号子空间与噪声子空间 503
8.3.2 子空间方法应用1：多重信号分类（MUSIC） 505
8.3.3 子空间方法应用2：子空间白化 507
8.4 Grassmann流形与Stiefel流形 508
8.4.1 不变子空间 508
8.4.2 Grassmann流形 509
8.4.3 Stiefel流形 510
8.5 投影逼近子空间跟踪 513
8.5.1 投影逼近子空间跟踪的基本理论 513
8.5.2 投影逼近子空间跟踪算法 516
8.6 快速子空间分解 517
8.6.1 Rayleigh-Ritz逼近 518
8.6.2 快速子空间分解算法 519
本章小结 522
习题 522
第9章 投影分析 527
9.1 投影与正交投影 527
9.1.1 投影定理 528
9.1.2 均方估计 529
9.2 投影矩阵与正交投影矩阵 531
9.2.1 幂等矩阵 531
9.2.2 投影算子与正交投影算子 533
9.2.3 到列空间的投影矩阵与正交投影矩阵 535
9.2.4 投影矩阵的导数 537
9.3 投影矩阵与正交投影矩阵的应用举例 538
9.3.1 投影梯度 538
9.3.2 预测滤波器的表示 540
9.4 投影矩阵和正交投影矩阵的更新 544
9.5 满列秩矩阵的斜投影算子 545
9.5.1 斜投影算子的定义及性质 546
9.5.2 斜投影算子的几何解释 550
9.5.3 斜投影算子的递推 552
9.6 满行秩矩阵的斜投影算子 553
9.6.1 满行秩矩阵的斜投影算子定义 553
9.6.2 斜投影的计算 555
9.6.3 斜投影算子的应用 557
本章小结 558
习题 558
第10章 张量分析 563
10.1 张量及其表示 563
10.2 张量的矩阵化与向量化 569
10.2.1 张量的水平展开与向量化 569
10.2.2 张量的纵向展开 573
10.3 张量的基本代数运算 577
10.3.1 张量的内积、范数与外积 577
10.3.2 张量的n-模式积 579
10.3.3 张量的秩 583
10.4 张量的Tucker分解 585
10.4.1 Tucker分解（高阶奇异值分解） 585
10.4.2 三阶奇异值分解 588
10.4.3 高阶奇异值分解的交替最小二乘算法 592
10.5 张量的平行因子分解 596
10.5.1 双线性模型 596
10.5.2 平行因子分析 598
10.5.3 CP分解的唯一性条件 604
10.5.4 CP分解的交替最小二乘算法 606
10.6 多路数据分析的预处理与后处理 610
10.6.1 多路数据的中心化与比例化 610
10.6.2 正则化与数据阵列的压缩 611
10.7 非负张量分解 613
10.7.1 非负张量分解的乘法算法 614
10.7.2 非负张量分解的交替最小二乘算法 617
本章小结 619
习题 619
参考文献 621
索引 648