高维数据统计方法、理论与应用PDF电子书下载

第1章 绪论 1

1.1 框架结构 1

1.2 潜在价值和挑战 1

1.3 关于本书 2

1.3.1 本书的组织结构 3

1.4 实例 3

1.4.1 基因学中的生物标记发现及预测 4

第2章 线性模型中的Lasso 6

2.1 本章的组织结构 6

2.2 引言及预备知识 7

2.2.1 Lasso评估量 7

2.3 正交观测量 9

2.4 预测 10

2.4.1 Lasso预测的实际应用 10

2.4.2 渐进理论的一些结果 11

2.5 变量筛选和‖？-β0‖q-范数 12

2.5.1 变量筛选中的调谐参数选择 14

2.5.2 针对DNA结合点的Motif回归 15

2.6 变量选择 16

2.6.1 邻域稳定性和irrepresentable条件 18

2.7 总结关键性质和相关假设 19

2.8 自适应Lasso：两阶段流程 20

2.8.1 说明：仿真数据和motif回归 21

2.8.2 正交观测量 23

2.8.3 自适应Lasso：弱条件下的变量选择 24

2.8.4 计算 24

2.8.5 多步骤自适应Lasso 25

2.8.6 非凸的惩罚函数 27

2.9 阈值Lasso 28

2.10 无约束Lasso 28

2.11 Lasso自由度 29

2.12 路径跟踪算法 30

2.12.1 协同优化和中靶算法 32

2.13 弹性网络：扩展 34

习题 35

第3章 广义线性模型和Lasso 37

3.1 本章组织结构 37

3.2 引言及预备知识 37

3.2.1 Lasso估计量：惩罚负的对数似然 38

3.3 广义线性模型的重要实例 39

3.3.1 二元响应变量和logistic回归 39

3.3.2 泊松回归 41

3.3.3 多类别响应变量和多项分布 41

习题 43

第4章 Group Lasso 45

4.1 本章组织结构 45

4.2 引言及预备知识 45

4.2.1 Group Lasso惩罚 46

4.3 因子变量作为协变量 47

4.3.1 DNA序列结合点的预测 48

4.4 Group Lasso在广义线性模型中的性质 51

4.5 广义Group Lasso惩罚 52

4.5.1 分组预测惩罚及参数化的不变性 53

4.6 自适应Group Lasso 54

4.7 Group Lasso算法 55

4.7.1 块坐标下降 56

4.7.2 块坐标梯度下降 59

习题 62

第5章 加性模型和单变量平滑函数 64

5.1 本章的组织结构 64

5.2 引言和预备知识 64

5.2.1 加性模型的最大似然惩罚 65

5.3 稀疏-平滑惩罚 66

5.3.1 正交基和对角平滑矩阵 67

5.3.2 自然三次样条函数和Sobolev空间 67

5.3.3 计算 68

5.4 Group Lasso的稀疏-平滑惩罚 71

5.4.1 算法 71

5.4.2 其他方法 73

5.5 数值示例 74

5.5.1 仿真示例 74

5.5.2 Motif回归 75

5.6 预测和变量选择 76

5.7 广义加性模型 77

5.8 具有变化系数的线性模型 78

5.8.1 关于预测的性质 79

5.8.2 多变量线性模型 79

5.9 多任务学习 79

习题 80

第6章 Lasso理论 82

6.1 本章结构 82

6.2 最小均方与Lasso 83

6.2.1 介绍 83

6.2.2 假设真实的参数是线性关系的结果 85

6.2.3 对真实参数的线性估计 90

6.2.4 进一步精练：处理较小的系数 93

6.3 一般凸损失函数的设置 95

6.4 边值条件 99

6.5 无惩罚的广义线性模型 101

6.6 Lasso广义损失的一致性 105

6.7 一个oracle不等式 106

6.8 当1≤q≤2时的lq-误差 112

6.8.1 在广义损失上的应用和真实函数的稀疏逼近 114

6.9 加权Lasso 115

6.10 自适应加权Lasso 117

6.11 凹惩罚项 120

6.11.1 基于稀疏oracle不等式的具有lr-惩罚的最小平方 121

6.11.2 这一节（6.11节）的证明 122

6.12 相容性和（随机）矩阵 125

6.13 关于相容性条件 130

6.13.1 相容性常量的直接限 132

6.13.2 使用‖βs‖？≤s‖βs‖？的限 135

6.13.3 包含S的集合N 140

6.13.4 有限等距 141

6.13.5 稀疏特征值 142

6.13.6 更多一致性描述 143

6.13.7 各种特征值常量综述 145

习题 148

第7章 使用Lasso做变量选择 153

7.1 介绍 153

7.2 已有文献的一些结果 154

7.3 本章的组织结构 155

7.4 beta最小条件 156

7.5 无噪声情况下的irrepresentable条件 158

7.5.1 irrepresentable条件的定义 159

7.5.2 KKT条件 159

7.5.3 变量选择的充分必要条件 160

7.5.4 变量选择的充分必要条件 162

7.5.5 Irrepresentable条件和约束回归 164

7.5.6 选择真实有效集的超集 166

7.5.7 加权irrepresentable条件 167

7.5.8 加权irrepresentable条件和约束回归 167

7.5.9 具有“理想”权重的加权Lasso 169

7.6 自适应和阈值Lasso的定义 170

7.6.1 自适应Lasso的定义 170

7.6.2 阈值Lasso的定义 171

7.6.3 阶的符号 171

7.7 回顾第6章的结果 172

7.8 自适应Lasso和阈值Lasso：启用稀疏特征值 175

7.8.1 关于可调参数的条件 175

7.8.2 结果 176

7.8.3 与Lasso的比较 177

7.8.4 自适应Lasso和阈值Lasso的比较 179

7.8.5 漏报变量的数量的界 179

7.8.6 加入beta最小条件 180

7.9 不使用稀疏特征值的自适应Lasso 182

7.9.1 调节参数的条件 182

7.9.2 结果 183

7.10 一些总结评论 184

7.11 对于不含稀疏特征值的无噪声情况的技术补充 185

7.11.1 无噪声（加权）Lasso的预测误差 185

7.11.2 无噪声（加权）Lasso的误报变量的数量 186

7.11.3 对无噪声初始估计阈值 187

7.11.4 无噪声自适应Lasso 189

7.12 在噪声场景和没有稀疏特征值条件下的技术补充 194

7.13 凹惩罚情况下的选择 198

习题 201

第8章 l1/l2-惩罚过程理论 208

8.1 介绍 208

8.2 本章组织和符号 209

8.3 具有组结构的回归 211

8.3.1 损失函数与惩罚项 211

8.3.2 经验过程 212

8.3.3 Group Lasso的相容条件 213

8.3.4 一个Group Lasso稀疏度oracle不等式 214

8.3.5 扩展 215

8.4 高维加性模型 216

8.4.1 损失函数与惩罚 216

8.4.2 经验过程 217

8.4.3 平滑Lasso的相容性条件 221

8.4.4 平滑Group Lasso的稀疏oracle不等式 222

8.4.5 关于惩罚选择 225

8.5 具有时变系数线性模型 230

8.5.1 损失函数与惩罚 230

8.5.2 经验过程 232

8.5.3 时变系数模型的相容性条件 232

8.5.4 时变系数模型的稀疏oracle不等式 233

8.6 多元线性模型和多任务学习 234

8.6.1 损失函数与惩罚 235

8.6.2 经验过程 235

8.6.3 多任务相容性条件 236

8.6.4 多任务稀疏oracle不等式 237

8.7 平滑Group Lasso的逼近条件 238

8.7.1 Sobolev平滑 239

8.7.2 对角化平滑 240

习题 240

第9章 非凸损失函数与l1-正则化 244

9.1 本章组织结构 244

9.2 有限混合回归模型 244

9.2.1 高斯回归模型的有限混合 245

9.2.2 l1-惩罚最大似然估计 246

9.2.3 l1-惩罚最大似然估计的性质 249

9.2.4 调整参数的选择 250

9.2.5 自适应l1-惩罚 250

9.2.6 采用枯草芽孢杆菌的核黄素生产 251

9.2.7 仿真示例 252

9.2.8 数值优化 254

9.2.9 GEM优化算法 254

9.2.10 命题9.2的证明 257

9.3 线性混合效应模型 259

9.3.1 模型和l1-惩罚估计 260

9.3.2 线性混合效应模型中的Lasso 261

9.3.3 随机效应系数估计 261

9.3.4 正则化参数的选择 262

9.3.5 线性混合效应模型中Lasso的性质 262

9.3.6 自适应l1-惩罚最大似然估计 262

9.3.7 计算算法 263

9.3.8 数值结果 266

9.4 l1-惩罚非凸负对数似然理论 268

9.4.1 设置与符号 268

9.4.2 Lasso非凸损失函数的oracle不等式 271

9.4.3 有限混合回归模型理论 273

9.4.4 线性混合效应模型理论 275

9.5 9.4节的相关证明 277

9.5.1 引理9.1的证明 277

9.5.2 引理9.2的证明 278

9.5.3 定理9.1的证明 280

9.5.4 引理9.3的证明 281

习题 282

第10章 稳定解 283

10.1 本章的组织结构 283

10.2 引言，稳定性和子样本 283

10.2.1 线性模型的稳定路径 285

10.3 稳定性选择 288

10.3.1 正则化的选择和误差控制 289

10.4 数值结果 292

10.5 扩展 294

10.5.1 随机化Lasso 294

10.6 理论角度上的改进 295

10.7 证明 296

10.7.1 样本分割 296

10.7.2 定理10.1的证明 297

习题 299

第11章 线性模型及拓展的p-值 300

11.1 组织结构 300

11.2 样本分割及高维变量选择 300

11.3 多样本分割和分族误差控制 303

11.3.1 多p-值聚合 304

11.3.2 分族误差控制 305

11.4 多样本分割和错误发现率 306

11.4.1 错误发现率控制 307

11.5 数值结果 308

11.5.1 误差率控制和仿真 308

11.5.2 计算生物学中的Motif回归误差率控制 311

11.5.3 错误发现率控制与仿真 311

11.6 一致性变量选择 312

11.6.1 单样本分割法 313

11.6.2 多样本分割法 315

11.7 扩展 315

11.7.1 其他模型 315

11.7.2 期望误报选择控制 316

11.8 证明 316

11.8.1 命题11.1的证明 316

11.8.2 定理11.1的证明 318

11.8.3 定理11.2的证明 319

11.8.4 命题11.2的证明 320

11.8.5 引理11.3的证明 321

习题 322

第12章 贪婪算法及Booting算法 323

12.1 本章的组织结构 323

12.2 引言和预备知识 323

12.2.1 组合方法：多预测及聚合 324

12.2.2 AdaBoost算法 324

12.3 梯度Boosting：泛函梯度下降算法 325

12.3.1 通用FGD算法 326

12.4 一些损失方程和Boosting算法 327

12.4.1 回归 327

12.4.2 二元分类 328

12.4.3 泊松回归 330

12.4.4 两种重要的Boosting算法 331

12.4.5 其他数据结构和模型 332

12.5 基本流程选择 332

12.5.1 广义线性模型逐元线性最小方差 333

12.5.2 附加模型的逐元光滑样条函数 334

12.5.3 树 337

12.5.4 小方差原则 337

12.5.5 Boosting初始化 338

12.6 L2 Boosting 338

12.6.1 非参数曲线估计：关于Boosting的一些基本见解 339

12.6.2 高维线性模型的L2 Boosting 342

12.7 前向选择和正交匹配追踪 345

12.7.1 线性模型和平方误差损失 346

12.8 证明 349

12.8.1 定理12.1的证明 349

12.8.2 定理12.2的证明 351

12.8.3 定理12.3的证明 356

习题 359

第13章 图形化建模 360

13.1 章节内容组织 360

13.2 预备知识 360

13.3 无向图 361

13.3.1 无向图马科夫性质 361

13.4 高斯图形化建模 362

13.4.1 协方差矩阵和边集惩罚估计 362

13.4.2 Nodewise回归 366

13.4.3 基于无向图的协方差估计 367

13.5 二元随机变量Ising模型 368

13.6 信实假设 369

13.6.1 信实失效 370

13.6.2 信实图及高斯图形化建模 371

13.7 PC算法：迭代估计法 372

13.7.1 总体PC算法 372

13.7.2 样本PC算法 374

13.8 高维数据一致性 376

13.8.1 说明 377

13.8.2 PC算法理论分析 377

13.9 再论线性模型 383

13.9.1 部分信实 384

13.9.2 PC简化算法 385

13.9.3 数值结果 387

13.9.4 高维问题的渐进结果 389

13.9.5 相关筛选（真独立筛选） 392

13.9.6 证明 393

习题 397

第14章 概率以及矩不等式 398

14.1 本章组织结构 398

14.2 单个随机变量结果 398

14.2.1 次指数随机变量 398

14.2.2 亚高斯随机变量 399

14.2.3 局部凹函数的Jensen不等式 401

14.3 Bernstein不等式 402

14.4 Hoeffding不等式 403

14.5 p的最大值平均值 404

14.5.1 Bernstein不等式的使用 404

14.5.2 Hoeffding不等式的使用 406

14.5.3 含有亚高斯随机变量的情形 407

14.6 集中不等式 408

14.6.1 Bousquet不等式 409

14.6.2 Massart不等式 410

14.6.3 亚高斯随机变量 410

14.7 对称性与收缩性 411

14.8 Lipschitz损失函数的集中不等式 413

14.9 随机设计的方差损失收缩性 416

14.9.1 噪声和线性函数的内积 417

14.9.2 平方线性函数 418

14.9.3 方差损失 420

14.10 仅存在低阶矩的情形 420

14.10.1 Nemirovski矩不等式 420

14.10.2 二次型一致不等式 421

14.11 熵表示的亚高斯情形集中性 422

14.12 熵结果 427

14.12.1 有限维空间和一般凸体的熵 428

14.12.2 限定系数集 428

14.12.3 小样本凸壳：对数形式熵 429

14.12.4 小样本凸壳：非对数形式熵 430

14.12.5 更多改进 432

14.12.6 举例：含第（m-1）阶有界变差衍生项的方程 432

14.12.7 本节证明（14.12节） 433

习题 441

参考文献 445