图灵程序设计丛书 程序员的数学 2 概率统计PDF电子书下载

第1部分 聊聊概率这件事 3

第1章 概率的定义 3

1.1概率的数学定义 3

1.2三扇门（蒙提霍尔问题）——飞艇视角 4

1.2.1蒙提霍尔问题 5

1.2.2正确答案与常见错误 6

1.2.3以飞艇视角表述 6

1.3三元组（Ω，F，P）——上帝视角 9

1.4随机变量 13

1.5概率分布 17

1.6适于实际使用的简记方式 19

1.6.1随机变量的表示方法 19

1.6.2概率的表示方法 20

1.7 Ω是幕后角色 21

1.7.1不必在意Ω究竟是什么 21

1.7.2 Ω的习惯处理方式 22

1.7.3不含Ω（不含上帝视角）的概率论 23

1.8一些注意事项 23

1.8.1想做什么 23

1.8.2因为是面积…… 24

1.8.3解释 26

第2章 多个随机变量之间的关系 29

2.1各县的土地使用情况（面积计算的预热） 29

2.1.1不同县、不同用途的统计（联合概率与边缘概率的预热） 30

2.1.2特定县、特定用途的比例（条件概率的预热） 31

2.1.3倒推比例（贝叶斯公式的预热） 32

2.1.4比例相同的情况（独立性的预热） 34

2.1.5预热结束 38

2.2联合概率与边缘概率 38

2.2.1两个随机变量 38

2.2.2三个随机变量 41

2.3条件概率 42

2.3.1条件概率的定义 42

2.3.2联合分布、边缘分布与条件分布的关系 45

2.3.3即使条件中使用的不是等号也一样适用 50

2.3.4三个或更多的随机变量 51

2.4贝叶斯公式 55

2.4.1问题设置 56

2.4.2贝叶斯的作图曲 57

2.4.3贝叶斯公式 61

2.5独立性 63

2.5.1事件的独立性（定义） 64

2.5.2事件的独立性（等价表述） 67

2.5.3随机变量的独立性 70

2.5.4三个或更多随机变量的独立性（需多加注意） 73

第3章 离散值的概率分布 79

3.1一些简单的例子 79

3.2二项分布 82

3.2.1二项分布的推导 82

3.2.2补充：排列nPk、组合nCk 83

3.3期望值 85

3.3.1期望值的定义 85

3.3.2期望值的基本性质 87

3.3.3期望值乘法运算的注意事项 91

3.3.4期望值不存在的情况 93

3.4方差与标准差 99

3.4.1即使期望值相同 99

3.4.2方差即“期望值离散程度”的期望值 100

3.4.3标准差 102

3.4.4常量的加法、乘法及标准化 104

3.4.5各项独立时，和的方差等于方差的和 108

3.4.6平方的期望值与方差 110

3.5大数定律 112

3.5.1独立同分布 114

3.5.2平均值的期望值与平均值的方差 116

3.5.3大数定律 117

3.5.4大数定律的相关注意事项 118

3.6补充内容：条件期望与最小二乘法 120

3.6.1条件期望的定义 120

3.6.2最小二乘法 121

3.6.3上帝视角 122

3.6.4条件方差 123

第4章 连续值的概率分布 127

4.1渐变色打印问题（密度计算的预热） 128

4.1.1用图表描述油墨的消耗量（累积分布函数的预热） 128

4.1.2用图表描述油墨的打印浓度（概率密度函数预热） 129

4.1.3拉伸打印成品对油墨浓度的影响（变量变换的预热） 133

4.2概率为零的情况 136

4.2.1出现概率恰好为零的情况 137

4.2.2概率为零将带来什么问题 139

4.3概率密度函数 140

4.3.1概率密度函数 140

4.3.2均匀分布 146

4.3.3概率密度函数的变量变换 147

4.4联合分布·边缘分布·条件分布 152

4.4.1联合分布 152

4.4.2本小节之后的阅读方式 155

4.4.3边缘分布 155

4.4.4条件分布 159

4.4.5贝叶斯公式 162

4.4.6独立性 163

4.4.7任意区域的概率·均匀分布·变量变换 166

4.4.8实数值与离散值混合存在的情况 174

4.5期望值、方差与标准差 174

4.5.1期望值 175

4.5.2方差·标准差 179

4.6正态分布与中心极限定理 180

4.6.1标准正态分布 181

4.6.2一般正态分布 184

4.6.3中心极限定理 187

第5章 协方差矩阵、多元正态分布与椭圆 195

5.1协方差与相关系数 196

5.1.1协方差 196

5.1.2协方差的性质 199

5.1.3分布倾向的明显程度与相关系数 200

5.1.4协方差与相关系数的局限性 206

5.2协方差矩阵 208

5.2.1协方差矩阵=方差与协方差的一览表 208

5.2.2协方差矩阵的向量形式表述 209

5.2.3向量与矩阵的运算及期望值 212

5.2.4向量值随机变量的补充说明 215

5.2.5协方差矩阵的变量变换 217

5.2.6任意方向的发散程度 218

5.3多元正态分布 220

5.3.1多元标准正态分布 220

5.3.2多元一般正态分布 223

5.3.3多元正态分布的概率密度函数 228

5.3.4多元正态分布的性质 230

5.3.5截面与投影 232

5.3.6补充知识：卡方分布 239

5.4协方差矩阵与椭圆的关系 242

5.4.1（实例一）单位矩阵与圆 242

5.4.2（实例二）对角矩阵与椭圆 244

5.4.3（实例三）一般矩阵与倾斜的椭圆 247

5.4.4协方差矩阵的局限性 251

第2部分 探讨概率的应用 257

第6章 估计与检验 257

6.1估计理论 257

6.1.1描述统计与推断统计 257

6.1.2描述统计 258

6.1.3如何理解推断统计中的一些概念 260

6.1.4问题设定 264

6.1.5期望罚款金额 265

6.1.6多目标优化 266

6.1.7（策略一）减少候选项——最小方差无偏估计 267

6.1.8（策略二）弱化最优定义——最大似然估计 269

6.1.9（策略三）以单一数值作为评价基准——贝叶斯估计 272

6.1.10策略选择的相关注意事项 275

6.2检验理论 276

6.2.1检验理论中的逻辑 276

6.2.2检验理论概述 278

6.2.3简单假设 279

6.2.4复合假设 282

第7章 伪随机数 285

7.1伪随机数的基础知识 285

7.1.1随机数序列 285

7.1.2伪随机数序列 286

7.1.3典型应用：蒙特卡罗方法 287

7.1.4相关主题：密码理论中的伪随机数序列·低差异序列 289

7.2遵从特定分布的随机数的生成 291

7.2.1遵从离散值分布的随机数的生成 292

7.2.2遵从连续值分布的随机数的生成 293

7.2.3遵从正态分布的随机数的生成 296

7.2.4补充知识：三角形内及球面上的均匀分布 298

第8章 概率论的各类应用 305

8.1回归分析与多变量分析 305

8.1.1通过最小二乘法拟合直线 305

8.1.2主成分分析 312

8.2随机过程 319

8.2.1随机游走 321

8.2.2卡尔曼滤波器 326

8.2.3马尔可夫链 331

8.2.4关于随机过程的一些补充说明 342

8.3信息论 343

8.3.1熵 343

8.3.2二元熵 347

8.3.3信源编码 349

8.3.4信道编码 352

附录A本书涉及的数学基础知识 359

A.1希腊字母 359

A.2数 359

A.2.1自然数·整数 359

A.2.2有理数·实数 359

A.2.3复数 360

A.3集合 360

A.3.1集合的表述方式 360

A.3.2无限集的大小 361

A.3.3强化练习 361

A.4求和符号Σ 362

A.4.1定义与基本性质 362

A.4.2双重求和 364

A.4.3范围指定 366

A.4.4等比数列 366

A.5指数与对数 368

A.5.1指数函数 368

A.5.2高斯积分 371

A.5.3对数函数 374

A.6内积与长度 377

附录B近似公式与不等式 381

B.1斯特林公式 381

B.2琴生不等式 381

B.3吉布斯不等式 384

B.4马尔可夫不等式与切比雪夫不等式 385

B.5切尔诺夫界 386

B.6闵可夫斯基不等式与赫尔德不等式 387

B.7算术平均值≥几何平均值≥调和平均值 390

附录C概率论的补充知识 393

C.1随机变量的收敛 393

C.1.1依概率1收敛 393

C.1.2依概率收敛 395

C.1.3均方收敛 396

C.1.4依分布收敛 396

C.2特征函数 397

C.3 KL散度与大偏差原理 399

参考文献 404