稀疏建模理论、算法及其应用PDF电子书下载

第1章 导论 1

1.1引导性示例 3

1.1.1计算机网络诊断 3

1.1.2神经影像分析 4

1.1.3压缩感知 6

1.2稀疏复原简介 7

1.3统计学习与压缩感知 9

1.4总结与参考书目 9

第2章 稀疏复原：问题描述 11

2.1不含噪稀疏复原 11

2.2近似 13

2.3凸性：简要回顾 13

2.4问题（P0）的松弛 14

2.5 lq-正则函数对解的稀疏性的影响 15

2.6 l1范数最小化与线性规划的等价性 16

2.7含噪稀疏复原 17

2.8稀疏复原问题的统计学视角 20

2.9扩展LASSO：其他损失函数与正则函数 22

2.10总结与参考书目 24

第3章 理论结果（确定性部分） 26

3.1采样定理 26

3.2令人惊讶的实验结果 27

3.3从不完全频率信息中进行信号复原 29

3.4互相关 30

3.5 Spark与问题（P0）解的唯一性 32

3.6零空间性质与问题（P1）解的唯一性 34

3.7有限等距性质 35

3.8最坏情况下精确复原问题的平方根瓶颈 36

3.9基于RIP的精确重构 37

3.10总结与参考书目 40

第4章 理论结果（概率部分） 41

4.1 RIP何时成立？ 41

4.2 Johnson-Lindenstrauss引理与亚高斯随机矩阵的RIP 42

4.2.1 Johnson-Lindenstrauss集中不等式的证明 42

4.2.2具有亚高斯随机元素的矩阵的RIP 43

4.3满足RIP的随机矩阵 46

4.3.1特征值与RIP 46

4.3.2随机向量，等距随机向量 47

4.4具有独立有界行的矩阵与具有傅里叶变换随机行的矩阵的RIP 47

4.4.1 URI的证明 50

4.4.2一致大数定律的尾界 52

4.5总结与参考书目 54

第5章 稀疏复原问题的算法 55

5.1一元阈值是正交设计的最优方法 55

5.1.1 l0范数最小化 56

5.1.2 l1范数最小化 57

5.2求解l0范数最小化的算法 58

5.2.1贪婪方法综述 61

5.3用于l1范数最小化的算法 63

5.3.1用于求解LASSO的最小角回归方法 63

5.3.2坐标下降法 66

5.3.3近端方法 67

5.4总结与参考书目 72

第6章 扩展LASSO：结构稀疏性 73

6.1弹性网 73

6.1.1实际中的弹性网：神经成像应用 77

6.2融合LASSO 83

6.3分组LASSO：l1/l2罚函数 84

6.4同步LASSO：l1/l∞罚函数 85

6.5一般化 86

6.5.1块l1/lq范数及其扩展 86

6.5.2重叠分组 87

6.6应用 88

6.6.1时间因果关系建模 88

6.6.2广义加性模型 88

6.6.3多核学习 89

6.6.4多任务学习 90

6.7总结与参考书目 91

第7章 扩展LASSO：其他损失函数 92

7.1含噪观测情况下的稀疏复原 92

7.2指数族、GLM与Bregman散度 93

7.2.1指数族 94

7.2.2广义线性模型 95

7.2.3 Bregman散度 96

7.3具有GLM回归的稀疏复原 98

7.4总结与参考书目 104

第8章 稀疏图模型 106

8.1背景 106

8.2马尔可夫网络 107

8.2.1马尔可夫性质：更为仔细的观察 108

8.2.2高斯MRF 110

8.3马尔可夫网络中的学习与推断 110

8.3.1学习 110

8.3.2推断 111

8.3.3例子：神经影像应用 111

8.4学习稀疏高斯MRF 115

8.4.1稀疏逆协方差选择问题 116

8.4.2优化方法 117

8.4.3选择正则化参数 123

8.5总结与参考书目 126

第9章 稀疏矩阵分解：字典学习与扩展 128

9.1字典学习 129

9.1.1问题描述 129

9.1.2字典学习算法 130

9.2稀疏PCA 132

9.2.1背景 132

9.2.2稀疏PCA：合成视角 134

9.2.3稀疏PCA：分析视角 136

9.3用于盲源分离的稀疏NMF 136

9.4总结与参考书目 138

后记 140

附录A 数学背景 141

参考文献 154