信息论基础 原书第2版PDF电子书下载

第1章 绪论与概览 1

第2章 熵、相对熵与互信息 7

2.1 熵 7

2.2 联合熵与条件熵 9

2.3 相对熵与互信息 10

2.4 熵与互信息的关系 11

2.5 熵、相对熵与互信息的链式法则 12

2.6 Jensen不等式及其结果 13

2.7 对数和不等式及其应用 17

2.8 数据处理不等式 18

2.9 充分统计量 19

2.10 费诺不等式 20

要点 23

习题 24

历史回顾 31

第3章 渐近均分性 32

3.1 渐近均分性定理 32

3.2 AEP的推论：数据压缩 34

3.3 高概率集与典型集 35

要点 36

习题 36

历史回顾 40

第4章 随机过程的熵率 41

4.1 马尔可夫链 41

4.2 熵率 42

4.3 例子：加权图上随机游动的熵率 44

4.4 热力学第二定律 46

4.5 马尔可夫链的函数 48

要点 49

习题 50

历史回顾 58

第5章 数据压缩 59

5.1 有关编码的几个例子 59

5.2 Kraft不等式 61

5.3 最优码 62

5.4 最优码长的界 64

5.5 惟一可译码的Kraft不等式 66

5.6 赫夫曼码 67

5.7 有关赫夫曼码的评论 68

5.8 赫夫曼码的最优性 70

5.9 Shannon-Fano-Elias编码 72

5.10 香农码的竞争最优性 74

5.11 由均匀硬币投掷生成离散分布 76

要点 80

习题 81

历史回顾 90

第6章 博弈与数据压缩 91

6.1 赛马 91

6.2 博弈与边信息 94

6.3 相依的赛马及其熵率 95

6.4 英文的熵 96

6.5 数据压缩与博弈 98

6.6 英文的熵的博弈估计 99

要点 100

习题 101

历史回顾 105

第7章 信道容量 106

7.1 信道容量的几个例子 107

7.1.1 无噪声二元信道 107

7.1.2 无重叠输出的有噪声信道 107

7.1.3 有噪声的打字机信道 107

7.1.4 二元对称信道 108

7.1.5 二元擦除信道 108

7.2 对称信道 109

7.3 信道容量的性质 110

7.4 信道编码定理预览 110

7.5 定义 111

7.6 联合典型序列 112

7.7 信道编码定理 114

7.8 零误差码 118

7.9 费诺不等式与编码定理的逆定理 118

7.10 信道编码定理的逆定理中的等式 120

7.11 汉明码 121

7.12 反馈容量 124

7.13 信源信道分离定理 125

要点 128

习题 128

历史回顾 138

第8章 微分熵 140

8.1 定义 140

8.2 连续随机变量的AEP 141

8.3 微分熵与离散熵的关系 142

8.4 联合微分熵与条件微分熵 143

8.5 相对熵与互信息 144

8.6 微分熵、相对熵以及互信息的性质 145

要点 147

习题 148

历史回顾 149

第9章 高斯信道 150

9.1 高斯信道：定义 151

9.2 高斯信道编码定理的逆定理 153

9.3 带宽有限信道 155

9.4 并联高斯信道 157

9.5 高斯彩色噪声信道 158

9.6 带反馈的高斯信道 160

要点 165

习题 165

历史回顾 171

第10章 率失真理论 172

10.1 量化 172

10.2 定义 173

10.3 率失真函数的计算 175

10.3.1 二元信源 175

10.3.2 高斯信源 177

10.3.3 独立高斯随机变量的同步描述 178

10.4 率失真定理的逆定理 180

10.5 率失真函数的可达性 182

10.6 强典型序列与率失真 186

10.7 率失真函数的特征 188

10.8 信道容量与率失真函数的计算 189

要点 191

习题 191

历史回顾 196

第11章 信息论与统计学 198

11.1 型方法 198

11.2 大数定律 203

11.3 通用信源编码 204

11.4 大偏差理论 205

11.5 Sanov定理的几个例子 207

11.6 条件极限定理 209

11.7 假设检验 213

11.8 Chernoff-Stein引理 216

11.9 Chernoff信息 218

11.10 费希尔信息与Cramér-Rao不等式 222

要点 225

习题 227

历史回顾 232

第12章 最大熵 233

12.1 最大熵分布 233

12.2 几个例子 234

12.3 奇异最大熵问题 236

12.4 谱估计 236

12.5 高斯过程的熵率 237

12.6 Burg最大熵定理 238

要点 240

习题 240

历史回顾 243

第13章 通用信源编码 244

13.1 通用码与信道容量 244

13.2 二元序列的通用编码 247

13.3 算术编码 249

13.4 Lempel-Ziv编码 251

13.4.1 带滑动窗口的Lempel-Ziv算法 252

13.4.2 树结构Lempel-Ziv算法 252

13.5 Lempel-Ziv算法的最优性 253

13.5.1 带滑动窗口的Lempel-Ziv算法 253

13.5.2 树结构Lempel-Ziv压缩的最优性 255

要点 260

习题 261

历史回顾 263

第14章 科尔莫戈罗夫复杂度 264

14.1 计算模型 265

14.2 科尔莫戈罗夫复杂度：定义与几个例子 265

14.3 科尔莫戈罗夫复杂度与熵 269

14.4 整数的科尔莫戈罗夫复杂度 271

14.5 算法随机序列与不可压缩序列 271

14.6 普适概率 273

14.7 科尔莫戈罗夫复杂度 275

14.8 Ω 276

14.9 万能博弈 277

14.10 奥克姆剃刀 278

14.11 科尔莫戈罗夫复杂度与普适概率 279

14.12 科尔莫戈罗夫充分统计量 283

14.13 最短描述长度准则 285

要点 286

习题 287

历史回顾 290

第15章 网络信息论 291

15.1 高斯多用户信道 292

15.1.1 单用户高斯信道 293

15.1.2 m个用户的高斯多接入信道 293

15.1.3 高斯广播信道 294

15.1.4 高斯中继信道 294

15.1.5 高斯干扰信道 295

15.1.6 高斯双程信道 296

15.2 联合典型序列 296

15.3 多接入信道 299

15.3.1 多接入信道容量区域的可达性 301

15.3.2 对多接入信道容量区域的评述 303

15.3.3 多接入信道容量区域的凸性 304

15.3.4 多接入信道的逆定理 306

15.3.5 m个用户的多接入信道 309

15.3.6 高斯多接入信道 309

15.4 相关信源的编码 312

15.4.1 Slepian-Wolf定理的可达性 313

15.4.2 Slepian-Wolf定理的逆定理 316

15.4.3 多信源的Slepian-Wolf定理 317

15.4.4 Slepian-Wolf编码定理的解释 317

15.5 Slepian-Wolf编码与多接入信道之间的对偶性 318

15.6 广播信道 319

15.6.1 广播信道的定义 320

15.6.2 退化广播信道 321

15.6.3 退化广播信道的容量区域 321

15.7 中继信道 324

15.8 具有边信息的信源编码 326

15.9 具有边信息的率失真 329

15.10 一般多终端网络 333

要点 337

习题 338

历史回顾 345

第16章 信息论与投资组合理论 347

16.1 股票市场：一些定义 347

16.2 对数最优投资组合的库恩－塔克特征 349

16.3 对数最优投资组合的渐近最优性 350

16.4 边信息与增长率 352

16.5 平稳市场中的投资 353

16.6 对数最优投资组合的竞争最优性 355

16.7 万能投资组合 356

16.7.1 有限期万能投资组合 357

16.7.2 无限期万能投资组合 362

16.8 Shannon-McMillan-Breiman定理（广义渐近均分性质） 366

要点 369

习题 371

历史回顾 373

第17章 信息论中的不等式 375

17.1 信息论中的基本不等式 375

17.2 微分熵 376

17.3 熵与相对熵的界 378

17.4 关于型的不等式 380

17.5 熵的组合界 380

17.6 子集的熵率 381

17.7 熵与费希尔信息 383

17.8 熵幂不等式与布伦－闵可夫斯基不等式 385

17.9 有关行列式的不等式 388

17.10 关于行列式的比值的不等式 390

要点 392

习题 393

历史回顾 393

参考文献 394

索引 418