第1章 绪论与概览 1
第2章 熵、相对熵和互信息 9
2.1熵 9
2.2联合熵和条件熵 11
2.3相对熵和互信息 13
2.4熵与互信息的关系 14
2.5熵、相对熵和互信息的链式法则 15
2.6Jensen不等式及其结果 17
2.7对数和不等式及其应用 22
2.8数据处理不等式 24
2.9热力学第二定律 25
2.10充分统计量 27
2.11Fano不等式 28
要点 30
习题 31
历史回顾 36
第3章 渐近均分性 39
3.1渐近均分性的定义 39
3.2AEP的结果应用：数据压缩 41
3.3高概率集与典型集 42
要点 43
习题 44
历史回顾 45
第4章 随机过程的熵率 47
4.1马尔可夫链 47
4.2熵率 49
4.3例子：加权图上随机游动的熵率 51
4.4隐马尔可夫模型 53
要点 55
习题 56
历史回顾 60
第5章 数据压缩 61
5.1有关编码的例子 61
5.2Kraft不等式 64
5.3最优码 66
5.4最优码长的界 67
5.5惟一可译码的Kraft不等式 70
5.6赫夫曼码 72
5.7有关赫夫曼码的评论 73
5.8赫夫曼码的最优性 75
5.9Shannon-Fano-Elias编码 78
5.10算术编码 80
5.11香农码的竞争最优性 83
5.12由均匀硬币投掷生成离散分布 85
要点 91
习题 91
历史回顾 96
第6章 博弈与数据压缩 97
6.1马赛 97
6.2博弈与边信息 100
6.3相依的马赛及其熵率 102
6.4英文的熵 103
6.5数据压缩与博弈 106
6.6英文的熵的博弈估计 107
要点 108
习题 109
历史回顾 111
第7章 Kolmogorov复杂度 113
7.1计算模型 114
7.2Kolmogorov复杂度：定义和例子 115
7.3Kolmogorov复杂度与熵 119
7.4整数的Kolmogorov复杂度 121
7.5算法随机序列与不可压缩序列 122
7.6普适概率 125
7.7停止问题和Kolmogorov复杂度的不可计算性 126
7.8Ω 127
7.9普适投注策略 129
7.10奥克姆剃刀 130
7.11Kolmogorov复杂度与普适概率 131
7.12Kolmogorov充分统计量 136
要点 139
习题 140
历史回顾 142
第8章 信道容量 143
8.1信道容量的例子 144
8.1.1无噪声二元信道 144
8.1.2无重叠输出的有噪声信道 144
8.1.3有噪声的打字机信道 145
8.1.4二元对称信道 145
8.1.5二元擦除信道 146
8.2对称信道 147
8.3信道容量的性质 149
8.4信道编码定理预览 149
8.5定义 150
8.6联合典型序列 152
8.7信道编码定理 154
8.8零误差码 158
8.9Fano不等式与编码定理的逆定理 159
8.10信道编码定理的逆定理中的等式 162
8.11汉明码 163
8.12反馈容量 165
8.13联合信源信道编码定理 167
要点 170
习题 171
历史回顾 173
第9章 微分熵 175
9.1定义 175
9.2连续随机变量的AEP 176
9.3微分熵与离散熵的关系 178
9.4联合微分熵和条件微分熵 179
9.5相对熵和互信息 180
9.6微分熵、相对熵以及互信息的性质 181
9.7离散熵的微分熵界 183
要点 184
习题 185
历史回顾 186
第10章 高斯信道 187
10.1高斯信道的定义 188
10.2高斯信道编码定理的逆定理 192
10.3有限带宽信道 193
10.4并联高斯信道 196
10.5彩色高斯噪声信道 198
10.6带反馈的高斯信道 200
要点 204
习题 205
历史回顾 207
第11章 最大熵与谱估计 209
11.1最大熵分布 209
11.2例子 210
11.3反常的最大熵问题 212
11.4谱估计 213
11.5高斯过程的熵率 214
11.6Burg最大熵定理 215
要点 217
习题 217
历史回顾 218
第12章 信息论与统计学 219
12.1型方法 219
12.2大数定律 225
12.3通用信源编码 226
12.4大偏差理论 229
12.5Sanov定理的例子 231
12.6条件极限定理 233
12.7假设检验 239
12.8Stein引理 243
12.9Chernoff界 245
12.10Lempel-Ziv编码 251
12.11Fisher信息与Cramér-Rao不等式 256
要点 260
习题 262
历史回顾 264
第13章 率失真理论 265
13.1量化 265
13.2定义 266
13.3率失真函数的计算 269
13.3.1二元信源 269
13.3.2高斯信源 270
13.3.3独立高斯随机变量的同步描述 273
13.4率失真定理的逆定理 275
13.5率失真函数的可达性 277
13.6强典型序列与率失真 282
13.7率失真函数的特征 285
13.8信道容量与率失真函数的计算 286
要点 289
习题 289
历史回顾 293
第14章 网络信息论 295
14.1高斯多用户信道 297
14.1.1单用户高斯信道 298
14.1.2m个用户的高斯多接入信道 298
14.1.4高斯中继信道 299
14.1.3高斯广播信道 299
14.1.5高斯干扰信道 301
14.1.6高斯双向信道 301
14.2联合典型序列 302
14.3多接入信道 305
14.3.1多接入信道容量区域的可达性 309
14.3.2对多接入信道容量区域的评述 311
14.3.3多接入信道容量区域的凸性 312
14.3.4多接入信道的逆定理 314
14.3.5m个用户的多接入信道 317
14.3.6高斯多接入信道 318
14.4相关信源的编码 321
14.4.1Slepian-Wolf定理的可达性 323
14.4.2Slepian-Wolf定理的逆定理 325
14.4.3多信源的Slepian-Wolf定理 327
14.4.4Slepian-Wolf编码的解释 327
14.5Slepian-Wolf编码与多接入信道之间的对偶性 328
14.6广播信道 329
14.6.1广播信道的定义 331
14.6.2退化广播信道 332
14.6.3退化广播信道的容量区域 332
14.7中继信道 336
14.8具有边信息的信源编码 340
14.9具有边信息的率失真 343
14.10一般多端网络 348
要点 353
习题 354
历史回顾 358
第15章 信息论与股票市场 361
15.1股票市场：定义 361
15.2对数最优投资组合的Kuhn-Tucker特征 363
15.3对数最优投资组合的渐近最优性 365
15.4边信息与双倍率 367
15.5平稳市场中的投资 368
15.6对数最优投资组合的竞争最优性 370
15.7Shannon-McMillan-Breiman定理 372
要点 377
习题 378
历史回顾 379
16.1信息论的基本不等式 381
第16章 信息论的不等式 381
16.2微分熵 383
16.3熵与相对熵的界 385
16.4型的不等式 387
16.5子集的熵率 388
16.6熵与Fisher信息 390
16.7熵幂不等式与Brunn-Minkowski不等式 393
16.8行列式的不等式 397
16.9行列式的比值的不等式 400
全书要点 402
习题 402
历史回顾 403
参考文献 405
索引 419