第1章 绪论 1
1.1 框架结构 1
1.2 潜在价值和挑战 1
1.3 关于本书 2
1.3.1 本书的组织结构 3
1.4 实例 3
1.4.1 基因学中的生物标记发现及预测 4
第2章 线性模型中的Lasso 6
2.1 本章的组织结构 6
2.2 引言及预备知识 7
2.2.1 Lasso评估量 7
2.3 正交观测量 9
2.4 预测 10
2.4.1 Lasso预测的实际应用 10
2.4.2 渐进理论的一些结果 11
2.5 变量筛选和‖？-β0‖q-范数 12
2.5.1 变量筛选中的调谐参数选择 14
2.5.2 针对DNA结合点的Motif回归 15
2.6 变量选择 16
2.6.1 邻域稳定性和irrepresentable条件 18
2.7 总结关键性质和相关假设 19
2.8 自适应Lasso：两阶段流程 20
2.8.1 说明：仿真数据和motif回归 21
2.8.2 正交观测量 23
2.8.3 自适应Lasso：弱条件下的变量选择 24
2.8.4 计算 24
2.8.5 多步骤自适应Lasso 25
2.8.6 非凸的惩罚函数 27
2.9 阈值Lasso 28
2.10 无约束Lasso 28
2.11 Lasso自由度 29
2.12 路径跟踪算法 30
2.12.1 协同优化和中靶算法 32
2.13 弹性网络：扩展 34
习题 35
第3章 广义线性模型和Lasso 37
3.1 本章组织结构 37
3.2 引言及预备知识 37
3.2.1 Lasso估计量：惩罚负的对数似然 38
3.3 广义线性模型的重要实例 39
3.3.1 二元响应变量和logistic回归 39
3.3.2 泊松回归 41
3.3.3 多类别响应变量和多项分布 41
习题 43
第4章 Group Lasso 45
4.1 本章组织结构 45
4.2 引言及预备知识 45
4.2.1 Group Lasso惩罚 46
4.3 因子变量作为协变量 47
4.3.1 DNA序列结合点的预测 48
4.4 Group Lasso在广义线性模型中的性质 51
4.5 广义Group Lasso惩罚 52
4.5.1 分组预测惩罚及参数化的不变性 53
4.6 自适应Group Lasso 54
4.7 Group Lasso算法 55
4.7.1 块坐标下降 56
4.7.2 块坐标梯度下降 59
习题 62
第5章 加性模型和单变量平滑函数 64
5.1 本章的组织结构 64
5.2 引言和预备知识 64
5.2.1 加性模型的最大似然惩罚 65
5.3 稀疏-平滑惩罚 66
5.3.1 正交基和对角平滑矩阵 67
5.3.2 自然三次样条函数和Sobolev空间 67
5.3.3 计算 68
5.4 Group Lasso的稀疏-平滑惩罚 71
5.4.1 算法 71
5.4.2 其他方法 73
5.5 数值示例 74
5.5.1 仿真示例 74
5.5.2 Motif回归 75
5.6 预测和变量选择 76
5.7 广义加性模型 77
5.8 具有变化系数的线性模型 78
5.8.1 关于预测的性质 79
5.8.2 多变量线性模型 79
5.9 多任务学习 79
习题 80
第6章 Lasso理论 82
6.1 本章结构 82
6.2 最小均方与Lasso 83
6.2.1 介绍 83
6.2.2 假设真实的参数是线性关系的结果 85
6.2.3 对真实参数的线性估计 90
6.2.4 进一步精练：处理较小的系数 93
6.3 一般凸损失函数的设置 95
6.4 边值条件 99
6.5 无惩罚的广义线性模型 101
6.6 Lasso广义损失的一致性 105
6.7 一个oracle不等式 106
6.8 当1≤q≤2时的lq-误差 112
6.8.1 在广义损失上的应用和真实函数的稀疏逼近 114
6.9 加权Lasso 115
6.10 自适应加权Lasso 117
6.11 凹惩罚项 120
6.11.1 基于稀疏oracle不等式的具有lr-惩罚的最小平方 121
6.11.2 这一节（6.11节）的证明 122
6.12 相容性和（随机）矩阵 125
6.13 关于相容性条件 130
6.13.1 相容性常量的直接限 132
6.13.2 使用‖βs‖？≤s‖βs‖？的限 135
6.13.3 包含S的集合N 140
6.13.4 有限等距 141
6.13.5 稀疏特征值 142
6.13.6 更多一致性描述 143
6.13.7 各种特征值常量综述 145
习题 148
第7章 使用Lasso做变量选择 153
7.1 介绍 153
7.2 已有文献的一些结果 154
7.3 本章的组织结构 155
7.4 beta最小条件 156
7.5 无噪声情况下的irrepresentable条件 158
7.5.1 irrepresentable条件的定义 159
7.5.2 KKT条件 159
7.5.3 变量选择的充分必要条件 160
7.5.4 变量选择的充分必要条件 162
7.5.5 Irrepresentable条件和约束回归 164
7.5.6 选择真实有效集的超集 166
7.5.7 加权irrepresentable条件 167
7.5.8 加权irrepresentable条件和约束回归 167
7.5.9 具有“理想”权重的加权Lasso 169
7.6 自适应和阈值Lasso的定义 170
7.6.1 自适应Lasso的定义 170
7.6.2 阈值Lasso的定义 171
7.6.3 阶的符号 171
7.7 回顾第6章的结果 172
7.8 自适应Lasso和阈值Lasso：启用稀疏特征值 175
7.8.1 关于可调参数的条件 175
7.8.2 结果 176
7.8.3 与Lasso的比较 177
7.8.4 自适应Lasso和阈值Lasso的比较 179
7.8.5 漏报变量的数量的界 179
7.8.6 加入beta最小条件 180
7.9 不使用稀疏特征值的自适应Lasso 182
7.9.1 调节参数的条件 182
7.9.2 结果 183
7.10 一些总结评论 184
7.11 对于不含稀疏特征值的无噪声情况的技术补充 185
7.11.1 无噪声（加权）Lasso的预测误差 185
7.11.2 无噪声（加权）Lasso的误报变量的数量 186
7.11.3 对无噪声初始估计阈值 187
7.11.4 无噪声自适应Lasso 189
7.12 在噪声场景和没有稀疏特征值条件下的技术补充 194
7.13 凹惩罚情况下的选择 198
习题 201
第8章 l1/l2-惩罚过程理论 208
8.1 介绍 208
8.2 本章组织和符号 209
8.3 具有组结构的回归 211
8.3.1 损失函数与惩罚项 211
8.3.2 经验过程 212
8.3.3 Group Lasso的相容条件 213
8.3.4 一个Group Lasso稀疏度oracle不等式 214
8.3.5 扩展 215
8.4 高维加性模型 216
8.4.1 损失函数与惩罚 216
8.4.2 经验过程 217
8.4.3 平滑Lasso的相容性条件 221
8.4.4 平滑Group Lasso的稀疏oracle不等式 222
8.4.5 关于惩罚选择 225
8.5 具有时变系数线性模型 230
8.5.1 损失函数与惩罚 230
8.5.2 经验过程 232
8.5.3 时变系数模型的相容性条件 232
8.5.4 时变系数模型的稀疏oracle不等式 233
8.6 多元线性模型和多任务学习 234
8.6.1 损失函数与惩罚 235
8.6.2 经验过程 235
8.6.3 多任务相容性条件 236
8.6.4 多任务稀疏oracle不等式 237
8.7 平滑Group Lasso的逼近条件 238
8.7.1 Sobolev平滑 239
8.7.2 对角化平滑 240
习题 240
第9章 非凸损失函数与l1-正则化 244
9.1 本章组织结构 244
9.2 有限混合回归模型 244
9.2.1 高斯回归模型的有限混合 245
9.2.2 l1-惩罚最大似然估计 246
9.2.3 l1-惩罚最大似然估计的性质 249
9.2.4 调整参数的选择 250
9.2.5 自适应l1-惩罚 250
9.2.6 采用枯草芽孢杆菌的核黄素生产 251
9.2.7 仿真示例 252
9.2.8 数值优化 254
9.2.9 GEM优化算法 254
9.2.10 命题9.2的证明 257
9.3 线性混合效应模型 259
9.3.1 模型和l1-惩罚估计 260
9.3.2 线性混合效应模型中的Lasso 261
9.3.3 随机效应系数估计 261
9.3.4 正则化参数的选择 262
9.3.5 线性混合效应模型中Lasso的性质 262
9.3.6 自适应l1-惩罚最大似然估计 262
9.3.7 计算算法 263
9.3.8 数值结果 266
9.4 l1-惩罚非凸负对数似然理论 268
9.4.1 设置与符号 268
9.4.2 Lasso非凸损失函数的oracle不等式 271
9.4.3 有限混合回归模型理论 273
9.4.4 线性混合效应模型理论 275
9.5 9.4节的相关证明 277
9.5.1 引理9.1的证明 277
9.5.2 引理9.2的证明 278
9.5.3 定理9.1的证明 280
9.5.4 引理9.3的证明 281
习题 282
第10章 稳定解 283
10.1 本章的组织结构 283
10.2 引言，稳定性和子样本 283
10.2.1 线性模型的稳定路径 285
10.3 稳定性选择 288
10.3.1 正则化的选择和误差控制 289
10.4 数值结果 292
10.5 扩展 294
10.5.1 随机化Lasso 294
10.6 理论角度上的改进 295
10.7 证明 296
10.7.1 样本分割 296
10.7.2 定理10.1的证明 297
习题 299
第11章 线性模型及拓展的p-值 300
11.1 组织结构 300
11.2 样本分割及高维变量选择 300
11.3 多样本分割和分族误差控制 303
11.3.1 多p-值聚合 304
11.3.2 分族误差控制 305
11.4 多样本分割和错误发现率 306
11.4.1 错误发现率控制 307
11.5 数值结果 308
11.5.1 误差率控制和仿真 308
11.5.2 计算生物学中的Motif回归误差率控制 311
11.5.3 错误发现率控制与仿真 311
11.6 一致性变量选择 312
11.6.1 单样本分割法 313
11.6.2 多样本分割法 315
11.7 扩展 315
11.7.1 其他模型 315
11.7.2 期望误报选择控制 316
11.8 证明 316
11.8.1 命题11.1的证明 316
11.8.2 定理11.1的证明 318
11.8.3 定理11.2的证明 319
11.8.4 命题11.2的证明 320
11.8.5 引理11.3的证明 321
习题 322
第12章 贪婪算法及Booting算法 323
12.1 本章的组织结构 323
12.2 引言和预备知识 323
12.2.1 组合方法：多预测及聚合 324
12.2.2 AdaBoost算法 324
12.3 梯度Boosting：泛函梯度下降算法 325
12.3.1 通用FGD算法 326
12.4 一些损失方程和Boosting算法 327
12.4.1 回归 327
12.4.2 二元分类 328
12.4.3 泊松回归 330
12.4.4 两种重要的Boosting算法 331
12.4.5 其他数据结构和模型 332
12.5 基本流程选择 332
12.5.1 广义线性模型逐元线性最小方差 333
12.5.2 附加模型的逐元光滑样条函数 334
12.5.3 树 337
12.5.4 小方差原则 337
12.5.5 Boosting初始化 338
12.6 L2 Boosting 338
12.6.1 非参数曲线估计：关于Boosting的一些基本见解 339
12.6.2 高维线性模型的L2 Boosting 342
12.7 前向选择和正交匹配追踪 345
12.7.1 线性模型和平方误差损失 346
12.8 证明 349
12.8.1 定理12.1的证明 349
12.8.2 定理12.2的证明 351
12.8.3 定理12.3的证明 356
习题 359
第13章 图形化建模 360
13.1 章节内容组织 360
13.2 预备知识 360
13.3 无向图 361
13.3.1 无向图马科夫性质 361
13.4 高斯图形化建模 362
13.4.1 协方差矩阵和边集惩罚估计 362
13.4.2 Nodewise回归 366
13.4.3 基于无向图的协方差估计 367
13.5 二元随机变量Ising模型 368
13.6 信实假设 369
13.6.1 信实失效 370
13.6.2 信实图及高斯图形化建模 371
13.7 PC算法：迭代估计法 372
13.7.1 总体PC算法 372
13.7.2 样本PC算法 374
13.8 高维数据一致性 376
13.8.1 说明 377
13.8.2 PC算法理论分析 377
13.9 再论线性模型 383
13.9.1 部分信实 384
13.9.2 PC简化算法 385
13.9.3 数值结果 387
13.9.4 高维问题的渐进结果 389
13.9.5 相关筛选（真独立筛选） 392
13.9.6 证明 393
习题 397
第14章 概率以及矩不等式 398
14.1 本章组织结构 398
14.2 单个随机变量结果 398
14.2.1 次指数随机变量 398
14.2.2 亚高斯随机变量 399
14.2.3 局部凹函数的Jensen不等式 401
14.3 Bernstein不等式 402
14.4 Hoeffding不等式 403
14.5 p的最大值平均值 404
14.5.1 Bernstein不等式的使用 404
14.5.2 Hoeffding不等式的使用 406
14.5.3 含有亚高斯随机变量的情形 407
14.6 集中不等式 408
14.6.1 Bousquet不等式 409
14.6.2 Massart不等式 410
14.6.3 亚高斯随机变量 410
14.7 对称性与收缩性 411
14.8 Lipschitz损失函数的集中不等式 413
14.9 随机设计的方差损失收缩性 416
14.9.1 噪声和线性函数的内积 417
14.9.2 平方线性函数 418
14.9.3 方差损失 420
14.10 仅存在低阶矩的情形 420
14.10.1 Nemirovski矩不等式 420
14.10.2 二次型一致不等式 421
14.11 熵表示的亚高斯情形集中性 422
14.12 熵结果 427
14.12.1 有限维空间和一般凸体的熵 428
14.12.2 限定系数集 428
14.12.3 小样本凸壳：对数形式熵 429
14.12.4 小样本凸壳：非对数形式熵 430
14.12.5 更多改进 432
14.12.6 举例：含第（m-1）阶有界变差衍生项的方程 432
14.12.7 本节证明（14.12节） 433
习题 441
参考文献 445