第1章 引言 1
第2章 lasso线性模型 6
2.1引言 6
2.2 lasso估计 7
2.3交叉验证和推断 10
2.4 lasso解的计算 12
2.4.1基于单变量的软阈值法 12
2.4.2基于多变量的循环坐标下降法 13
2.4.3软阈值与正交基 15
2.5自由度 15
2.6 lasso解的唯一性 16
2.7理论概述 17
2.8非负garrote 17
2.9 lq惩罚和贝叶斯估计 19
2.10一些观点 20
习题 21
第3章 广义线性模型 24
3.1引言 24
3.2逻辑斯蒂回归模型 26
3.2.1示例：文本分类 27
3.2.2算法 29
3.3多分类逻辑斯蒂回归 30
3.3.1示例：手写数字 31
3.3.2 算法 32
3.3.3组lasso多分类 33
3.4对数线性模型及泊松广义线性模型 33
3.5 Cox比例风险模型 35
3.5.1交叉验证 37
3.5.2预验证 38
3.6支持向量机 39
3.7计算细节及glmnet 43
参考文献注释 44
习题 45
第4章 广义lasso惩罚 47
4.1引言 47
4.2弹性网惩罚 47
4.3组lasso 50
4.3.1组lasso计算 53
4.3.2稀疏组lasso 54
4.3.3重叠组lasso 56
4.4稀疏加法模型和组lasso 59
4.4.1加法模型和backfitting 59
4.4.2稀疏加法模型和backfitting 60
4.4.3优化方法与组lasso 61
4.4.4稀疏加法模型的多重惩罚 64
4.5融合lasso 65
4.5.1拟合融合lasso 66
4.5.2趋势滤波 69
4.5.3近保序回归 70
4.6非凸惩罚 72
参考文献注释 74
习题 75
第5章 优化方法 80
5.1引言 80
5.2凸优化条件 80
5.2.1优化可微问题 80
5.2.2非可微函数和次梯度 83
5.3梯度下降 84
5.3.1无约束的梯度下降 84
5.3.2投影梯度法 86
5.3.3近点梯度法 87
5.3.4加速梯度方法 90
5.4坐标下降 92
5.4.1可分性和坐标下降 93
5.4.2线性回归和lasso 94
5.4.3逻辑斯蒂回归和广义线性模型 97
5.5仿真研究 99
5.6最小角回归 100
5.7交替方向乘子法 103
5.8优化-最小化算法 104
5.9双凸问题和交替最小化 105
5.10筛选规则 108
参考文献注释 111
附录A lasso的对偶 112
附录B DPP规则的推导 113
习题 114
第6章 统计推断 118
6.1贝叶斯lasso 118
6.2自助法 121
6.3 lasso法的后选择推断 125
6.3.1协方差检验 125
6.3.2选择后推断的更广方案 128
6.3.3检验何种假设 133
6.3.4回到向前逐步回归 134
6.4通过去偏lasso推断 134
6.5后选择推断的其他建议 136
参考文献注释 137
习题 138
第7章 矩阵的分解、近似及填充 141
7.1引言 141
7.2奇异值分解 142
7.3缺失数据和矩阵填充 143
7.3.1 Netfix电影挑战赛 144
7.3.2基于原子范数的矩阵填充 146
7.3.3矩阵填充的理论结果 149
7.3.4最大间隔分解及相关方法 153
7.4减秩回归 154
7.5通用矩阵回归框架 156
7.6惩罚矩阵分解 157
7.7矩阵分解的相加形式 160
参考文献注释 164
习题 165
第8章 稀疏多元方法 169
8.1引言 169
8.2稀疏组成分分析 169
8.2.1背景 169
8.2.2稀疏主成分 171
8.2.3秩大于1的解 174
8.2.4基于Fantope投影的稀疏PCA 176
8.2.5稀疏自编码和深度学习 176
8.2.6稀疏PCA的一些理论 178
8.3稀疏典型相关分析 179
8.4稀疏线性判别分析 182
8.4.1标准理论和贝叶斯规则 182
8.4.2最近收缩中心 183
8.4.3 Fisher线性判别分析 184
8.4.4最佳评分 188
8.5稀疏聚类 190
8.5.1聚类的一些背景知识 191
8.5.2稀疏层次聚类 191
8.5.3稀疏K均值聚类 192
8.5.4凸聚类 193
参考文献注释 195
习题 196
第9章 图和模型选择 202
9.1引言 202
9.2图模型基础 202
9.2.1分解和马尔可夫特性 202
9.2.2几个例子 204
9.3基于惩罚似然的图选择 206
9.3.1高斯模型的全局似然性 207
9.3.2图lasso算法 208
9.3.3利用块对角化结构 210
9.3.4图lasso的理论保证 211
9.3.5离散模型的全局似然性 212
9.4基于条件推断的图选择 213
9.4.1高斯分布下基于近邻的似然概率 214
9.4.2离散模型下基于近邻的似然概率 214
9.4.3混合模型下的伪似然概率 217
9.5带隐变量的图模型 218
参考文献注释 219
习题 221
第10章 信号近似与压缩感知 225
10.1引言 225
10.2信号与稀疏表示 225
10.2.1正交基 225
10.2.2用正交基逼近 228
10.2.3用过完备基来重构 229
10.3随机投影与近似 231
10.3.1 Johnson-Lindenstrauss近似 231
10.3.2压缩感知 232
10.4 l0恢复与l1恢复之间的等价性 234
10.4.1受限零空间性质 235
10.4.2受限零空间的充分条件 235
10.4.3证明 237
参考文献注释 238
习题 239
第11章 lasso的理论结果 242
11.1引言 242
11.1.1损失函数类型 242
11.1.2稀疏模型类型 243
11.2 lasso l2误差的界限 244
11.2.1经典情形中的强凸性 244
11.2.2回归受限特征值 245
11.2.3基本一致性结果 246
11.3预测误差的界 250
11.4线性回归中的支持恢复 252
11.4.1 lasso的变量选择一致性 252
11.4.2定理11.3的证明 256
11.5超越基础lasso 259
参考文献注释 260
习题 261
参考文献 264