统计学丛书 图灵数学 稀疏统计学习及其应用PDF电子书下载

第1章 引言 1

第2章 lasso线性模型 6

2.1引言 6

2.2 lasso估计 7

2.3交叉验证和推断 10

2.4 lasso解的计算 12

2.4.1基于单变量的软阈值法 12

2.4.2基于多变量的循环坐标下降法 13

2.4.3软阈值与正交基 15

2.5自由度 15

2.6 lasso解的唯一性 16

2.7理论概述 17

2.8非负garrote 17

2.9 lq惩罚和贝叶斯估计 19

2.10一些观点 20

习题 21

第3章 广义线性模型 24

3.1引言 24

3.2逻辑斯蒂回归模型 26

3.2.1示例：文本分类 27

3.2.2算法 29

3.3多分类逻辑斯蒂回归 30

3.3.1示例：手写数字 31

3.3.2 算法 32

3.3.3组lasso多分类 33

3.4对数线性模型及泊松广义线性模型 33

3.5 Cox比例风险模型 35

3.5.1交叉验证 37

3.5.2预验证 38

3.6支持向量机 39

3.7计算细节及glmnet 43

参考文献注释 44

习题 45

第4章 广义lasso惩罚 47

4.1引言 47

4.2弹性网惩罚 47

4.3组lasso 50

4.3.1组lasso计算 53

4.3.2稀疏组lasso 54

4.3.3重叠组lasso 56

4.4稀疏加法模型和组lasso 59

4.4.1加法模型和backfitting 59

4.4.2稀疏加法模型和backfitting 60

4.4.3优化方法与组lasso 61

4.4.4稀疏加法模型的多重惩罚 64

4.5融合lasso 65

4.5.1拟合融合lasso 66

4.5.2趋势滤波 69

4.5.3近保序回归 70

4.6非凸惩罚 72

参考文献注释 74

习题 75

第5章 优化方法 80

5.1引言 80

5.2凸优化条件 80

5.2.1优化可微问题 80

5.2.2非可微函数和次梯度 83

5.3梯度下降 84

5.3.1无约束的梯度下降 84

5.3.2投影梯度法 86

5.3.3近点梯度法 87

5.3.4加速梯度方法 90

5.4坐标下降 92

5.4.1可分性和坐标下降 93

5.4.2线性回归和lasso 94

5.4.3逻辑斯蒂回归和广义线性模型 97

5.5仿真研究 99

5.6最小角回归 100

5.7交替方向乘子法 103

5.8优化-最小化算法 104

5.9双凸问题和交替最小化 105

5.10筛选规则 108

参考文献注释 111

附录A lasso的对偶 112

附录B DPP规则的推导 113

习题 114

第6章 统计推断 118

6.1贝叶斯lasso 118

6.2自助法 121

6.3 lasso法的后选择推断 125

6.3.1协方差检验 125

6.3.2选择后推断的更广方案 128

6.3.3检验何种假设 133

6.3.4回到向前逐步回归 134

6.4通过去偏lasso推断 134

6.5后选择推断的其他建议 136

参考文献注释 137

习题 138

第7章 矩阵的分解、近似及填充 141

7.1引言 141

7.2奇异值分解 142

7.3缺失数据和矩阵填充 143

7.3.1 Netfix电影挑战赛 144

7.3.2基于原子范数的矩阵填充 146

7.3.3矩阵填充的理论结果 149

7.3.4最大间隔分解及相关方法 153

7.4减秩回归 154

7.5通用矩阵回归框架 156

7.6惩罚矩阵分解 157

7.7矩阵分解的相加形式 160

参考文献注释 164

习题 165

第8章 稀疏多元方法 169

8.1引言 169

8.2稀疏组成分分析 169

8.2.1背景 169

8.2.2稀疏主成分 171

8.2.3秩大于1的解 174

8.2.4基于Fantope投影的稀疏PCA 176

8.2.5稀疏自编码和深度学习 176

8.2.6稀疏PCA的一些理论 178

8.3稀疏典型相关分析 179

8.4稀疏线性判别分析 182

8.4.1标准理论和贝叶斯规则 182

8.4.2最近收缩中心 183

8.4.3 Fisher线性判别分析 184

8.4.4最佳评分 188

8.5稀疏聚类 190

8.5.1聚类的一些背景知识 191

8.5.2稀疏层次聚类 191

8.5.3稀疏K均值聚类 192

8.5.4凸聚类 193

参考文献注释 195

习题 196

第9章 图和模型选择 202

9.1引言 202

9.2图模型基础 202

9.2.1分解和马尔可夫特性 202

9.2.2几个例子 204

9.3基于惩罚似然的图选择 206

9.3.1高斯模型的全局似然性 207

9.3.2图lasso算法 208

9.3.3利用块对角化结构 210

9.3.4图lasso的理论保证 211

9.3.5离散模型的全局似然性 212

9.4基于条件推断的图选择 213

9.4.1高斯分布下基于近邻的似然概率 214

9.4.2离散模型下基于近邻的似然概率 214

9.4.3混合模型下的伪似然概率 217

9.5带隐变量的图模型 218

参考文献注释 219

习题 221

第10章 信号近似与压缩感知 225

10.1引言 225

10.2信号与稀疏表示 225

10.2.1正交基 225

10.2.2用正交基逼近 228

10.2.3用过完备基来重构 229

10.3随机投影与近似 231

10.3.1 Johnson-Lindenstrauss近似 231

10.3.2压缩感知 232

10.4 l0恢复与l1恢复之间的等价性 234

10.4.1受限零空间性质 235

10.4.2受限零空间的充分条件 235

10.4.3证明 237

参考文献注释 238

习题 239

第11章 lasso的理论结果 242

11.1引言 242

11.1.1损失函数类型 242

11.1.2稀疏模型类型 243

11.2 lasso l2误差的界限 244

11.2.1经典情形中的强凸性 244

11.2.2回归受限特征值 245

11.2.3基本一致性结果 246

11.3预测误差的界 250

11.4线性回归中的支持恢复 252

11.4.1 lasso的变量选择一致性 252

11.4.2定理11.3的证明 256

11.5超越基础lasso 259

参考文献注释 260

习题 261

参考文献 264