信息论基础PDF电子书下载

第1章 绪论与概览 1

第2章 熵、相对熵和互信息 9

2.1熵 9

2.2联合熵和条件熵 11

2.3相对熵和互信息 13

2.4熵与互信息的关系 14

2.5熵、相对熵和互信息的链式法则 15

2.6Jensen不等式及其结果 17

2.7对数和不等式及其应用 22

2.8数据处理不等式 24

2.9热力学第二定律 25

2.10充分统计量 27

2.11Fano不等式 28

要点 30

习题 31

历史回顾 36

第3章 渐近均分性 39

3.1渐近均分性的定义 39

3.2AEP的结果应用：数据压缩 41

3.3高概率集与典型集 42

要点 43

习题 44

历史回顾 45

第4章 随机过程的熵率 47

4.1马尔可夫链 47

4.2熵率 49

4.3例子：加权图上随机游动的熵率 51

4.4隐马尔可夫模型 53

要点 55

习题 56

历史回顾 60

第5章 数据压缩 61

5.1有关编码的例子 61

5.2Kraft不等式 64

5.3最优码 66

5.4最优码长的界 67

5.5惟一可译码的Kraft不等式 70

5.6赫夫曼码 72

5.7有关赫夫曼码的评论 73

5.8赫夫曼码的最优性 75

5.9Shannon-Fano-Elias编码 78

5.10算术编码 80

5.11香农码的竞争最优性 83

5.12由均匀硬币投掷生成离散分布 85

要点 91

习题 91

历史回顾 96

第6章 博弈与数据压缩 97

6.1马赛 97

6.2博弈与边信息 100

6.3相依的马赛及其熵率 102

6.4英文的熵 103

6.5数据压缩与博弈 106

6.6英文的熵的博弈估计 107

要点 108

习题 109

历史回顾 111

第7章 Kolmogorov复杂度 113

7.1计算模型 114

7.2Kolmogorov复杂度：定义和例子 115

7.3Kolmogorov复杂度与熵 119

7.4整数的Kolmogorov复杂度 121

7.5算法随机序列与不可压缩序列 122

7.6普适概率 125

7.7停止问题和Kolmogorov复杂度的不可计算性 126

7.8Ω 127

7.9普适投注策略 129

7.10奥克姆剃刀 130

7.11Kolmogorov复杂度与普适概率 131

7.12Kolmogorov充分统计量 136

要点 139

习题 140

历史回顾 142

第8章 信道容量 143

8.1信道容量的例子 144

8.1.1无噪声二元信道 144

8.1.2无重叠输出的有噪声信道 144

8.1.3有噪声的打字机信道 145

8.1.4二元对称信道 145

8.1.5二元擦除信道 146

8.2对称信道 147

8.3信道容量的性质 149

8.4信道编码定理预览 149

8.5定义 150

8.6联合典型序列 152

8.7信道编码定理 154

8.8零误差码 158

8.9Fano不等式与编码定理的逆定理 159

8.10信道编码定理的逆定理中的等式 162

8.11汉明码 163

8.12反馈容量 165

8.13联合信源信道编码定理 167

要点 170

习题 171

历史回顾 173

第9章 微分熵 175

9.1定义 175

9.2连续随机变量的AEP 176

9.3微分熵与离散熵的关系 178

9.4联合微分熵和条件微分熵 179

9.5相对熵和互信息 180

9.6微分熵、相对熵以及互信息的性质 181

9.7离散熵的微分熵界 183

要点 184

习题 185

历史回顾 186

第10章 高斯信道 187

10.1高斯信道的定义 188

10.2高斯信道编码定理的逆定理 192

10.3有限带宽信道 193

10.4并联高斯信道 196

10.5彩色高斯噪声信道 198

10.6带反馈的高斯信道 200

要点 204

习题 205

历史回顾 207

第11章 最大熵与谱估计 209

11.1最大熵分布 209

11.2例子 210

11.3反常的最大熵问题 212

11.4谱估计 213

11.5高斯过程的熵率 214

11.6Burg最大熵定理 215

要点 217

习题 217

历史回顾 218

第12章 信息论与统计学 219

12.1型方法 219

12.2大数定律 225

12.3通用信源编码 226

12.4大偏差理论 229

12.5Sanov定理的例子 231

12.6条件极限定理 233

12.7假设检验 239

12.8Stein引理 243

12.9Chernoff界 245

12.10Lempel-Ziv编码 251

12.11Fisher信息与Cramér-Rao不等式 256

要点 260

习题 262

历史回顾 264

第13章 率失真理论 265

13.1量化 265

13.2定义 266

13.3率失真函数的计算 269

13.3.1二元信源 269

13.3.2高斯信源 270

13.3.3独立高斯随机变量的同步描述 273

13.4率失真定理的逆定理 275

13.5率失真函数的可达性 277

13.6强典型序列与率失真 282

13.7率失真函数的特征 285

13.8信道容量与率失真函数的计算 286

要点 289

习题 289

历史回顾 293

第14章 网络信息论 295

14.1高斯多用户信道 297

14.1.1单用户高斯信道 298

14.1.2m个用户的高斯多接入信道 298

14.1.4高斯中继信道 299

14.1.3高斯广播信道 299

14.1.5高斯干扰信道 301

14.1.6高斯双向信道 301

14.2联合典型序列 302

14.3多接入信道 305

14.3.1多接入信道容量区域的可达性 309

14.3.2对多接入信道容量区域的评述 311

14.3.3多接入信道容量区域的凸性 312

14.3.4多接入信道的逆定理 314

14.3.5m个用户的多接入信道 317

14.3.6高斯多接入信道 318

14.4相关信源的编码 321

14.4.1Slepian-Wolf定理的可达性 323

14.4.2Slepian-Wolf定理的逆定理 325

14.4.3多信源的Slepian-Wolf定理 327

14.4.4Slepian-Wolf编码的解释 327

14.5Slepian-Wolf编码与多接入信道之间的对偶性 328

14.6广播信道 329

14.6.1广播信道的定义 331

14.6.2退化广播信道 332

14.6.3退化广播信道的容量区域 332

14.7中继信道 336

14.8具有边信息的信源编码 340

14.9具有边信息的率失真 343

14.10一般多端网络 348

要点 353

习题 354

历史回顾 358

第15章 信息论与股票市场 361

15.1股票市场：定义 361

15.2对数最优投资组合的Kuhn-Tucker特征 363

15.3对数最优投资组合的渐近最优性 365

15.4边信息与双倍率 367

15.5平稳市场中的投资 368

15.6对数最优投资组合的竞争最优性 370

15.7Shannon-McMillan-Breiman定理 372

要点 377

习题 378

历史回顾 379

16.1信息论的基本不等式 381

第16章 信息论的不等式 381

16.2微分熵 383

16.3熵与相对熵的界 385

16.4型的不等式 387

16.5子集的熵率 388

16.6熵与Fisher信息 390

16.7熵幂不等式与Brunn-Minkowski不等式 393

16.8行列式的不等式 397

16.9行列式的比值的不等式 400

全书要点 402

习题 402

历史回顾 403

参考文献 405

索引 419