第1章 绪论 1
1.1信息的基本概念 1
1.1.1信息论的产生 1
1.1.2信息的基本概念 2
1.2香农信息论研究的内容 4
1.2.1通信系统模型 4
1.2.2香农信息论的主要内容 7
1.3香农信息论研究的进展与应用 9
1.3.1香农信息论创立的背景 9
1.3.2香农的主要贡献 10
1.3.3香农信息论研究进展 10
1.3.4香农信息论的应用 12
思考题 13
第2章 离散信息的度量 14
2.1自信息和互信息 14
2.1.1自信息 14
2.1.2互信息 17
2.2信息熵的基本概念 19
2.2.1信息熵 19
2.2.2联合熵与条件熵 20
2.2.3相对熵 21
2.2.4各类熵之间的关系 22
2.3信息熵的基本性质 23
2.3.1凸函数及其性质 23
2.3.2熵的基本性质 25
2.3.3熵函数的唯一性 29
2.3.4有根概率树与熵的计算 29
2.4平均互信息 31
2.4.1平均互信息的定义 31
2.4.2平均互信息的性质 33
2.4.3平均条件互信息 36
本章小结 38
思考题 39
习题 40
第3章 离散信源 44
3.1离散信源的分类与数学模型 44
3.1.1离散信源的分类 44
3.1.2离散无记忆信源数学模型 45
3.1.3离散有记忆信源数学模型 46
3.1.4离散平稳信源数学模型 46
3.2离散无记忆信源的扩展 47
3.2.1等长消息扩展 47
3.2.2变长消息扩展 47
3.3离散平稳信源的熵 48
3.3.1单符号信源的熵 48
3.3.2等长无记忆扩展源的熵 48
3.3.3变长无记忆扩展源的熵 49
3.3.4平稳有记忆信源的熵 50
3.4有限状态马尔可夫链 51
3.4.1马氏链的基本概念 51
3.4.2齐次马氏链 52
3.4.3马氏链状态分类 54
3.4.4马氏链的平稳分布 55
3.5马尔可夫信源 57
3.5.1马氏源的基本概念 57
3.5.2马氏源的产生模型 59
3.5.3马氏链N次扩展源熵的计算 60
3.5.4马氏源符号熵的计算 62
3.6信源的相关性与剩余度 64
3.6.1信源的相关性 65
3.6.2信源的剩余度 65
3.6.3文本信源 66
本章小结 69
思考题 69
习题 69
第4章 连续信息与连续信源 74
4.1连续随机变量的熵 74
4.1.1连续随机变量的离散化 74
4.1.2连续随机变量的熵 75
4.1.3连续随机变量差熵的性质 76
4.1.4连续随机变量的相对熵 78
4.2离散时间高斯随机变量的熵 78
4.2.1一维高斯随机变量的熵 79
4.2.2多维独立高斯随机矢量的熵 79
4.2.3多维相关高斯随机矢量的熵 79
4.2.4高斯马尔可夫过程的熵率 80
4.3连续最大熵定理 82
4.3.1限峰值最大熵定理 82
4.3.2限平均功率最大熵定理 83
4.3.3最大熵率定理 83
4.3.4熵功率 84
4.4连续随机变量之间的平均互信息 85
4.4.1连续随机变量之间的平均互信息 85
4.4.2连续随机变量之间平均互信息的性质 86
4.5离散集与连续随机变量之间的互信息 88
4.5.1离散事件与连续事件之间的互信息 88
4.5.2离散与连续随机变量之间的平均互信息 88
4.6几种重要的连续信源 89
4.6.1音频信源 89
4.6.2语音信源 90
4.6.3图像信源 91
4.6.4视频信源 92
本章小结 93
思考题 94
习题 94
第5章 无失真信源编码 98
5.1概述 98
5.1.1信源编译码器模型 98
5.1.2信源编码的分类 99
5.1.3分组码 100
5.1.4无损信源编码系统 101
5.2定长码 102
5.2.1无失真编码条件 102
5.2.2渐近均分特性 102
5.2.3定长码信源编码定理 105
5.3变长码 107
5.3.1异前置码的性质 107
5.3.2变长码信源编码定理 108
5.4最优编码 111
5.4.1二元Huffman编码 111
5.4.2多元Huffman编码 115
5.4.3Huffman决策树 116
5.4.4规范Huffman编码 116
5.4.5马氏源的Huffman编码 117
5.4.6香农码 119
5.5几种实用的信源编码方法 120
5.5.1算术编码 120
5.5.2游程编码 124
5.5.3LZ编码 125
本章小结 128
思考题 129
习题 129
第6章 离散信道及其容量 133
6.1概述 133
6.1.1信道的分类 133
6.1.2离散信道的数学模型 134
6.1.3信道容量的定义 137
6.2单符号离散信道及其容量 137
6.2.1离散无噪信道的容量 137
6.2.2一般离散信道的容量 138
6.2.3离散对称信道的容量 141
6.3级联信道及其容量 143
6.4多维矢量信道及其容量 145
6.4.1多维矢量信道输入与输出的性质 145
6.4.2离散无记忆扩展信道及其容量 147
6.4.3并联信道及其容量 148
6.4.4和信道及其容量 149
6.5信道容量的迭代算法 149
6.6有约束信道的容量 151
6.6.1标号图的基本概念 151
6.6.2有约束信道容量的计算 154
本章小结 157
思考题 157
习题 158
第7章 有噪信道编码 163
7.1概述 163
7.1.1信道编码的基本概念 163
7.1.2判决与译码规则 164
7.1.3译码错误概率 165
7.2最佳判决与译码准则 166
7.2.1最大后验概率准则 166
7.2.2最大似然准则 167
7.3信道编码与最佳译码 168
7.3.1线性分组码 168
7.3.2序列最大似然译码 169
7.3.3几种简单的分组码 171
7.4费诺（Fano）不等式 172
7.5有噪信道编码定理 174
7.5.1联合典型序列 174
7.5.2有噪信道编码定理 176
7.5.3无失真信源信道编码定理 178
7.6纠错编码技术简介 179
7.6.1线性分组码的编译码 179
7.6.2几种重要的分组码 183
7.6.3卷积码简介 184
本章小结 188
思考题 189
习题 189
第8章 波形信道 194
8.1离散时间连续信道 194
8.1.1离散时间连续信道模型 194
8.1.2平稳无记忆连续信道 195
8.1.3多维矢量连续信道的性质 195
8.1.4离散时间连续信道的容量 195
8.2加性噪声信道与容量 197
8.2.1加性噪声信道的容量 197
8.2.2加性高斯噪声信道的容量 198
8.2.3一般加性噪声信道容量界限 199
8.2.4并联加性高斯噪声信道的容量 199
8.3AWGN信道的容量 202
8.3.1加性高斯噪声波形信道 202
8.3.2波形信道的互信息与容量 203
8.3.3AWGN信道的容量 204
8.3.4高斯噪声信道编码定理 206
8.3.5功率利用率和频谱利用率的关系 208
8.4有色高斯噪声信道 209
8.4.1有色高斯噪声信道容量 209
8.4.2多频段AWGN信道容量 211
8.5数字调制系统的信道容量 213
本章小结 216
思考题 217
习题 217
第9章 信息率失真函数 221
9.1概述 221
9.1.1系统模型 221
9.1.2失真测度 222
9.1.3率失真函数和失真率函数 224
9.2限失真信源编码定理 225
9.2.1码率的压缩 225
9.2.2限失真信源编码定理 226
9.2.3限失真信源信道编码定理 227
9.3离散R（D）函数的性质与计算 227
9.3.1离散R（D）函数的性质 227
9.3.2离散R（D）函数的计算 230
9.4连续R（D）函数的性质与计算 236
9.4.1连续R（D）函数的性质 236
9.4.2连续R（D）函数的计算 236
9.4.3差值失真测度下的R（D）函数 238
9.5高斯信源的R（D）函数 239
9.5.1无记忆高斯信源的R（D）函数 239
9.5.2独立并联高斯信源的R（D）函数 241
9.6一般连续信源的R（D）函数 243
9.7有损数据压缩技术简介 243
9.7.1量化 243
9.7.2预测编码 244
9.7.3子带编码 244
9.7.4变换编码 245
本章小结 245
思考题 246
习题 247
第10章 网络信息论初步 250
10.1概述 250
10.2多址接入信道 251
10.2.1二址接入信道的容量 252
10.2.2多址接入信道的容量 256
10.2.3不同多址方式下的接入信道容量 257
10.3广播信道 258
10.3.1概述 258
10.3.2退化广播信道的容量区 259
10.4中继信道 262
10.4.1概述 262
10.4.2退化中继信道的容量 263
10.5分布信源编码 264
10.5.1无损分布信源编码 264
10.5.2具有边信息的有损分布信源编码 268
10.5.3分布信源编码的应用 269
本章小结 270
思考题 271
习题 272
第11章 信息理论方法及其应用 276
11.1信源熵的估计 276
11.1.1离散信源序列熵的估计 277
11.1.2连续信源熵的估计 281
11.2最大熵原理 281
11.2.1最大熵原理的描述 281
11.2.2熵集中定理 284
11.2.3几种重要的最大熵分布 286
11.3最小交叉熵原理 288
11.3.1最小交叉熵原理 288
11.3.2交叉熵的性质 289
11.3.3最小交叉熵推断的性质 290
11.3.4交叉熵法 291
11.4信息理论方法的应用 292
11.4.1信息论在分子生物学中应用 292
11.4.2最大熵谱估计和最小交叉熵谱估计 294
11.4.3最大熵建模及其在自然语言处理中应用 296
11.4.4最大熵原理在经济学中的应用 298
11.4.5信息理论方法应用展望 300
本章小结 300
思考题 301
习题 301
参考文献 304