第1章 绪论 1
第2章 熵和互信息 5
2.1 随机变量的熵和互信息 5
2.1.1 事件的自信息和互信息 6
2.1.2 条件事件的互信息与联合事件的互信息 8
2.1.3 随机变量的平均自信息——熵 9
2.1.4 熵的性质 12
2.1.5 凸函数 15
2.1.6 随机变量间的平均互信息 19
2.1.7 概率分布的散度（相对熵） 22
2.1.8 关于疑义度的Fano不等式 23
2.1.9 马尔可夫链和数据处理定理 24
2.1.10 Shannon信息度量与集合论之间的联系 28
2.1.11 信息论与博弈之间的关系 33
2.2 连续随机变量的互信息和微分熵 36
2.2.1 连续随机变量的互信息 36
2.2.2 连续随机变量的熵——微分熵 37
2.2.3 微分熵的极大化 40
2.3 平稳离散信源的熵 42
2.3.1 平稳离散信源的一般概念 43
2.3.2 平稳信源的熵 43
2.3.3 马尔可夫信源 46
2.4 平稳随机过程的信息量与熵 49
习题 53
第3章 离散无记忆信源的无损编码 58
3.1 离散无记忆信源的等长编码 58
3.1.1 等长编码 58
3.1.2 Shannon信源编码定理叙述 59
3.1.3 渐近等分性质与Shannon定理的证明 60
3.2 离散无记忆信源的不等长编码 64
3.2.1 不等长编码的唯一可译性和译码延时 64
3.2.2 Kraft不等式 67
3.2.3 不等长编码定理 69
3.3 几种不等长编码算法 71
3.3.1 最佳不等长编码（Huffman编码） 71
3.3.2 Shannon编码法 73
3.3.3 Fano编码 75
3.3.4 Shannon-Fano-Elias编码 78
3.3.5 算术编码 80
3.3.6 通用信源编码算法 85
3.3.7 压缩编码与离散随机数发生 89
3.4 平稳信源和马尔可夫信源的编码定理 93
3.4.1 平稳信源的编码 93
3.4.2 马尔可夫信源的编码 95
习题 99
第4章 信道、信道容量及信道编码定理 103
4.1 信道、信道模型和分类 103
4.2 离散无记忆信道及其容量 104
4.2.1 信道容量定义及例子 105
4.2.2 离散无记忆信道的容量定理 109
4.2.3 对称离散无记忆信道容量的计算 110
4.2.4 转移概率矩阵可逆信道的容量计算 113
4.2.5 离散无记忆信道容量的迭代计算 115
4.3 信道的组合 120
4.3.1 积信道（平行组合信道） 120
4.3.2 和信道 122
4.3.3 级联信道 123
4.4 离散无记忆信道的编码定理 125
4.4.1 几个有关定义 126
4.4.2 二元对称信道编码定理的证明 127
4.4.3 一般离散无记忆信道编码定理的证明（典型列方法） 130
4.4.4 信道编码定理之逆 134
4.4.5 具有理想反馈的离散无记忆信道的容量 135
4.4.6 信源、信道编码分离定理和信源、信道联合编码 137
4.5 加性高斯噪声信道 139
4.5.1 高斯信道的容量 140
4.5.2 高斯信道编码定理 141
4.5.3 高斯信道编码定理之逆 143
4.5.4 带有独立高斯噪声的平行信道 144
4.5.5 带有相关高斯噪声的平行信道 146
4.5.6 MIMO高斯信道的容量 148
4.6 模拟信道的信道容量 154
4.6.1 带限、加性白高斯噪声信道 154
4.6.2 带限、有色高斯噪声信道 157
习题 158
第5章 率失真理论和保真度准则下的信源编码 163
5.1 率失真函数的定义 164
5.2 简单信源的率失真函数计算 168
5.2.1 Hamming失真度量下的贝努利信源 168
5.2.2 高斯信源 170
5.2.3 高斯矢量信源 172
5.3 率失真函数的性质 174
5.3.1 R（D）的非零区域（Dmin,Dmax） 174
5.3.2 R（D）的向下凸性 176
5.3.3 R（D）为单调递减的连续函数 176
5.3.4 利用信源的对称性来计算率失真函数 178
5.4 率失真函数解的充要条件和参数方程 179
5.5 率失真函数的交替迭代计算 185
5.6 保真度准则下离散无记忆信源编码定理 189
5.6.1 可达性证明 189
5.6.2 逆定理证明 192
5.6.3 信道编码定理与限失真信源编码定理之间的对偶 193
5.7 无记忆连续信源的率失真函数 194
5.7.1 无记忆连续信源的率失真函数定义 194
5.7.2 平方误差失真度量下连续随机变量的率失真函数的上、下限 196
5.8 平方误差失真度量下有记忆高斯信源的率失真函数 200
5.8.1 有记忆信源的率失真函数定义 200
5.8.2 高斯信源的特征 201
5.8.3 离散时间平稳高斯信源的率失真函数 201
5.8.4 连续时间平稳高斯信源的率失真函数 205
习题 207
第6章 受限系统和受限系统编码 209
6.1 受限系统概述 209
6.1.1 受限信道 209
6.1.2 序列的自相关函数和功率谱 212
6.2 受限系统的表示和容量计算 214
6.2.1 受限系统的概念 214
6.2.2 RLL（d,k）序列 215
6.2.3 受限系统的有限状态转移图表示 215
6.2.4 受限系统的容量 217
6.2.5 受限系统容量的计算 218
6.2.6 最大熵游程受限序列的功率谱 224
6.3 受限系统编码方法 225
6.3.1 定长分组编码 226
6.3.2 码长最短的定长分组码 228
6.3.3 可变长度固定速率编码 229
6.3.4 向前看（LA）编码技术 231
6.4 基于ACH状态分裂算法的有限状态编码器 233
6.4.1 状态分裂 233
6.4.2 近似本征矢量 235
6.4.3 u一致分裂 237
6.4.4 ACH状态分裂算法 239
第7章 线性分组纠错编码 242
7.1 分组纠错编码的一般概念 242
7.1.1 用于纠错和检错的信道编码 242
7.1.2 二元对称信道的差错概率和差错分布 243
7.1.3 检错和纠错 244
7.1.4 自动重发请求（ARQ）编码 246
7.1.5 最大似然译码和最小Hamming距离译码 247
7.1.6 最小Hamming距离与检错、纠错能力的关系 248
7.2 线性分组纠错编码 250
7.2.1 线性分组编码的生成矩阵和校验矩阵 250
7.2.2 对偶码 253
7.2.3 线性分组码的最小Hamming距离和最小Hamming重量 254
7.3 线性分组码的纠错能力 256
7.4 线性分组码的译码 258
7.4.1 标准阵列译码法 259
7.4.2 伴随式译码 260
7.5 译码错误概率计算 261
7.5.1 码字错误概率 261
7.5.2 误比特率 262
7.6 二元Hamming码 263
7.6.1 Hamming码的定义 263
7.6.2 Hamming码的完备性 264
7.6.3 Hamming码的对偶码 264
7.7 从一个已知线性分组码来构造一个新的线性分组码 265
习题 267
第8章 循环码 269
8.1 有限域代数的基本知识 269
8.1.1 有限域的定义 269
8.1.2 GF（2m）的构成 271
8.1.3 有限域的特征和元素的阶数 272
8.1.4 最小多项式 275
8.2 循环码的定义和它的多项式表示 276
8.3 系统循环码的编码及其实现 280
8.3.1 系统循环码的编码 280
8.3.2 多项式运算的电路实现 281
8.3.3 循环码编码的电路实现 286
8.4 循环码的矩阵表示 287
8.5 循环码的译码及其实现 290
8.5.1 伴随式的计算 290
8.5.2 循环码的通用译码算法 292
8.5.3 梅吉特译码器 293
8.6 几个重要的循环码 295
8.6.1 Hamming循环码 296
8.6.2 BCH码 298
8.6.3 Reed-Solomon（RS）码 301
习题 304
第9章 卷积码 305
9.1 卷积码的代数结构 305
9.1.1 卷积码的构成 305
9.1.2 卷积码编码器的冲激响应和生成矩阵 306
9.1.3 卷积码编码器的多项式描述 311
9.2 卷积码的图描述和重量计数 311
9.2.1 卷积码的树图描述 311
9.2.2 卷积码的网格图描述 312
9.2.3 卷积码的状态图描述 313
9.2.4 卷积码的重量计数 314
9.2.5 恶性码 316
9.3 卷积码的Viterbi译码算法 317
9.3.1 分支度量、路径度量和最大似然译码 318
9.3.2 Viterbi译码算法 320
9.3.3 作为前向动态规划解的Viterbi算法 322
9.3.4 实现Viterbi译码算法的一些具体考虑 325
9.4 卷积码Viterbi译码算法的性能界 327
9.4.1 节点错误概率 327
9.4.2 比特错误概率 329
9.4.3 卷积码在BSC和AWGN信道的性能 330
9.5 凿孔卷积码 333
习题 336
第10章 先进的信道编码技术 338
10.1 软判决译码和软输出译码 338
10.1.1 软判决和软输出译码方法 339
10.1.2 卷积码的软输出译码 343
10.2 乘积码和级联编码 346
10.2.1 乘积码 347
10.2.2 级联编码 348
10.2.3 交织技术 349
10.2.4 并行级联编码和Turbo码 351
10.3 迭代译码技术 354
10.3.1 迭代译码原理 354
10.3.2 二维乘积码的迭代译码 355
10.3.3 Turbo码的迭代译码 360
10.4 LDPC码及其软判决译码 361
10.4.1 Tanner图 361
10.4.2 LDPC码的构造方法 362
10.4.3 LDPC的译码 363
10.5 喷泉码 373
10.5.1 随机、线性喷泉码 375
10.5.2 LT码 376
10.5.3 Raptor码 380
第11章 多用户信息论 382
11.1 多用户信息传输模型和信源编码模型 382
11.1.1 多用户信息传输模型 382
11.1.2 多用户信源编码模型 384
11.2 多变量联合典型列及强典型列概念 386
11.2.1 多变量联合典型列及联合AEP性质 386
11.2.2 强典型列集合与强AEP 388
11.3 多接入信道 390
11.4 广播信道 395
11.4.1 广播信道的定义 396
11.4.2 退化的广播信道 396
11.5 干扰信道 401
11.5.1 强干扰信道 402
11.5.2 高斯干扰信道 403
11.6 中继信道 406
11.6.1 退化中继信道 407
11.6.2 高斯中继信道 410
11.7 具有反馈的多用户信道 412
11.7.1 具有无噪反馈的无记忆多接入信道 412
11.7.2 具有无噪反馈的广播信道 416
11.7.3 双向信道 418
11.8 具有状态边信息的信道编码 424
11.8.1 具有缺损的硬盘存储器信道 426
11.8.2 仅发送端具有信道状态信息时的信道容量 428
11.8.3 脏纸信道 429
11.9 相关信源的无损编码及在多接入信道上传输 431
11.9.1 相关信源的无损编码 431
11.9.2 相关信源在多接入信道上传输 435
11.10 具有边信息的信源编码 438
11.10.1 译码器具有边信息的无损信源编码 438
11.10.2 具有边信息的率失真问题 440
11.10.3 仅在译码器具有高斯边信息的高斯信源的率失真函数 443
11.11 多描述信源编码 444
11.11.1 具有2个信道和3个接收机的多描述信源编码模型 445
11.11.2 可达性的证明 451
11.11.3 信息描述的相继细化 453
参考文献 458