1 信息的科学 1
Ⅰ 信息论部分 7
2 信息度量 7
2.1 独立性和Markov链 7
2.2 Shannon信息度量 13
2.3 固定有限字母表上Shannon信息度量的连续性 18
2.4 链式法则 20
2.5 信息散度 23
2.6 基本不等式 26
2.7 一些常用信息不等式 28
2.8 Fano不等式 32
2.9 最大熵分布 36
2.10 平稳信源的熵率 39
附录2.A：可数无限字母表上随机变量的截断逼近 42
本章小结 44
习题 46
历史注记 51
3 I-度量 52
3.1 基本概念 53
3.2 两个随机变量的I-度量 54
3.3 I-度量μ*的构造 56
3.4 μ*可能是负数 59
3.5 信息图 62
3.6 应用实例 68
附录3.A：容斥公式的一个变形 74
本章小结 76
习题 77
历史注记 80
4 无错误数据压缩 81
4.1 熵界 81
4.2 前缀码 86
4.2.1 定义和存在性 86
4.2.2 Huffman码 88
4.3 前缀码的冗余 93
本章小结 97
习题 98
历史注记 99
5 弱典型性 100
5.1 弱渐近等分性 100
5.2 信源编码定理 103
5.3 高效信源编码 105
5.4 Shannon-McMillan-Breiman定理 107
本章小结 109
习题 109
历史注记 111
6 强典型性 112
6.1 强渐近等分性 112
6.2 强典型性与弱典型性 121
6.3 联合典型性 121
6.4 基本不等式的解释 130
本章小结 131
习题 132
历史注记 134
7 离散无记忆信道 135
7.1 定义和容量 138
7.2 信道编码定理 146
7.3 信道编码定理中的逆命题 148
7.4 达性 154
7.5 讨论 160
7.6 反馈容量 163
7.7 信源信道分离编码 168
本章小结 171
习题 172
历史注记 176
8 率失真理论 177
8.1 单字母失真度量 177
8.2 率失真函数R（D） 181
8.3 率失真定理 187
8.4 逆定理 194
8.5 RI（D）的可达性 197
本章小结 202
习题 203
历史注记 205
9 Blahut-Arimoto算法 206
9.1 交替优化 207
9.2 算法 209
9.2.1 信道容量 209
9.2.2 率失真函数 214
9.3 收敛性 217
9.3.1 充分条件 217
9.3.2 信道容量的收敛性 221
本章小结 221
习题 222
历史注记 223
10 微分熵 224
10.1 预备知识 227
10.2 定义 230
10.3 联合微分熵，条件（微分）熵及互信息 234
10.4 连续随机变量的AEP 241
10.5 信息散度 243
10.6 最大微分熵分布 245
本章小结 247
习题 250
历史注记 252
11 连续信道 253
11.1 离散时间信道 253
11.2 信道编码定理 256
11.3 信道编码定理的证明 258
11.3.1 逆定理 258
11.3.2 可达性 261
11.4 无记忆Gauss信道 266
11.5 并行Gauss信道 269
11.6 相关Gauss信道 274
11.7 带限白Gauss信道 276
11.8 带限色Gauss信道 284
11.9 零均值Gauss噪声是最坏的加性噪声 286
本章小结 291
习题 293
历史注记 295
12 Markov结构 296
12.1 条件相互独立 297
12.2 全条件相互独立 307
12.3 Markov随机场 311
12.4 Markov链 314
本章小结 317
习题 318
历史注记 318
13 信息不等式 320
13.1 区域Γ？ 322
13.2 标准形信息表达式 323
13.3 几何框架 326
13.3.1 无约束不等式 326
13.3.2 有约束不等式 327
13.3.3 有约束恒等式 329
13.4 有约束不等式的等价性 329
13.5 条件独立的隐含问题 332
本章小结 333
习题 334
历史注记 335
14 Shannon型不等式 336
14.1 元不等式 336
14.2 线性规划方法 338
14.2.1 无约束不等式 340
14.2.2 有约束的不等式和等式 341
14.3 对偶性 342
14.4 机器证明——ITIP 344
14.5 隐含问题的处理 348
14.6 元不等式的最小性 350
附录14.A：基本不等式和多项拟阵公理 354
本章小结 355
习题 356
历史注记 358
15 非Shannon型不等式 359
15.1 Γ？,Γ？和Γ？的特性 359
15.2 一个非Shannon型无约束不等式 368
15.3 一个非Shannon型有约束不等式 373
15.4 应用 380
本章小结 382
习题 382
历史注记 384
16 熵与群 386
16.1 群论基础 387
16.2 可群特征化的熵函数 392
16.3 ？的一个群特征 397
16.4 信息不等式和群不等式 400
本章小结 405
习题 405
历史注记 408
Ⅱ 网络编码基础 411
17 引言 411
17.1 蝶形网络 412
17.2 无线通信和卫星通信 414
17.3 信源分离 416
本章小结 417
习题 417
历史注记 419
18 最大流界 420
18.1 点对点通信网络 420
18.2 达到最大流界的一些例子 423
18.3 一类网络编码 425
18.4 最大流界的证明 427
本章小结 430
习题 430
历史注记 432
19 单信源线性网络编码：无圈网络 434
19.1 无圈网络 435
19.2 线性网络编码 436
19.3 线性网络编码的性质 442
19.3.1 线性网络编码的变换 446
19.3.2 线性网络编码的实现 448
19.4 存在性和构造 449
19.5 通用网络编码 460
19.6 静态网络编码 469
19.7 随机网络编码：案例研究 474
19.7.1 系统如何工作 475
19.7.2 模型和分析 476
本章小结 479
习题 480
历史注记 483
20 单信源线性网络编码：有圈网络 484
20.1 无时延的有圈网络 484
20.2 卷积网络编码 487
20.3 卷积网络编码的译码 497
本章小结 501
习题 502
历史注记 503
21 多信源网络编码 504
21.1 最大流界 504
21.2 应用实例 506
21.2.1 多层分集编码 507
21.2.2 卫星通信网络 507
21.3 无圈网络的网络编码 509
21.4 可达信息速率域 510
21.5 显式的内外界 513
21.6 逆定理 514
21.7 可达性 519
21.7.1 随机码的构造 523
21.7.2 性能分析 527
本章小结 536
习题 537
历史注记 540
参考文献 541