第一章 绪论 1
1.1 信息的概念 1
1.1.1 信息的定义、特征与性质 1
1.1.2 信息的分类 3
1.2 信息传输系统的级成及其各部分的功能 5
1.2.1 模拟信息传输系统 5
1.2.2 数字信息传输系统 6
1.3 信息论研究对象和内容 7
1.4 信息论发展简史和现状 9
第二章 信息的量度 13
2.1 自信息量和条件自信息量 13
2.1.1 自信息量 13
2.1.2 条件自信息量 16
2.2 互信息量和条件互信息量 17
2.2.1 互信息量 17
2.2.2 互信息量的性质 17
2.3 离散集的平均自信息量 19
2.3.1 平均自信息量（熵） 19
2.2.3 条件互信息量 19
2.3.2 熵函数的数学特性 21
2.3.3 条件熵 28
2.3.4 联合熵（共熵） 28
2.3.5 各种熵的性质 28
2.3.6 加权熵 35
2.4 离散集的平均互信息量 36
2.4.1 平均条件互信息量 37
2.4.2 平均互信息量 37
2.4.3 平均互信息量的性质 38
习题 40
第三章 无失真信源与信息熵 42
3.1 信源的数学模型及其分类 42
3.1.1 信源的数学模型 42
3.1.2 信源的分类 44
3.2 离散无记忆信源 44
3.3 离散无记忆信源的扩展信源 45
3.3.1 最简单的离散信源 46
3.3.2 N次扩展信源 46
3.3.3 N次扩展信源的熵 47
3.4.1 离散平衡信源 49
3.4 离散平稳信源 49
3.4.2 平均自信息量 50
3.5 马尔可夫信源 53
3.5.1 有限状态马尔可夫链 53
3.5.2 马尔可夫信源 56
3.6 信源的相关性和剩余度 59
3.7.1 连续信源 62
3.7.2 连续信源熵的定义 62
3.7 连续信源及其熵 62
3.7.3 连续信源的最大熵 64
3.7.4 熵功率 68
3.7.5 联合熵、条件熵和平均交互信息量 68
习题 69
第四章 信道及其容量 72
4.1 信道的分类与描述 72
4.1.1 信道的分类 72
4.1.2 信道描述 74
4.2.1 离散信道的数学模型 75
4.2 离散无记忆信道 75
4.2.2 单符号离散信道 76
4.2.3 信道疑义度及平均互信息 79
4.3 离散无记忆的扩展信道 84
4.3.1 N次扩展信道数学模型 85
4.3.2 N次扩展信道平均互信息 86
4.4 信道的组合 90
4.4.1 串联信道 90
4.4.2 并联信道 94
4.5.1 几个基本定义 95
4.4.3 和信道 95
4.5 信道容量 95
4.5.2 几种典型信道的容量计算 96
4.6 信源与信道的匹配 106
4.7 连续信道及其容量 107
4.7.1 时间离散信道及其容量 107
4.7.2 时间连续信道的容量 109
4.8.1 引言 110
4.8 多用户信道 110
4.8.2 多址信息 112
4.8.3 广播信道 114
4.8.4 相关信源的多用户信道 116
习题 117
第五章 信源编码 120
5.1 无失真信源编码 120
5.1.1 编码器 120
5.1.2 分组码 122
5.1.3 等长码和等长信源编码定理 124
5.1.4 变长编码定理 131
5.2 限失真信源编码定理 150
5.2.1 失真测度 151
5.2.2 信息率失真函数 152
5.2.3 离散信源的信息率失真函数R(D)计算 156
5.2.4 限失真信源编码定理 163
5.2.5 连续信源的信息率失真函数R(D) 164
5.3 矢量量化编码 167
5.3.1 最佳标量量化编码 168
5.3.2 矢量量化编码 169
5.4 预测编码 173
5.4.1 预测编码的基本原理 174
5.4.2 预测编码的基本类型 175
5.5 变换编码 178
5.5.1 基本原理 178
5.5.2 几种主要离散变换编码 179
5.6 传真编码 183
5.6.1 文件传真的基本特性 183
5.7 语音压缩编码 187
5.7.1 波形编码ADPCM基本原理 188
5.7.2 参量编码的线性预测编码器LPC 189
5.7.3 混合编码的各类方法 190
5.8 图像编码 191
5.8.1 静止图像压缩编码及其技术标准JPEG 192
5.8.2 面向通信的视频压缩编码及其技术标准H.261 193
5.8.3 活动图像压缩编码及其技术标准MPEG 194
习题 196
6.1.1 信道编码在数字通信系统的地位和作用 199
第六章 信道编码 199
6.1 信道编码的基本概念 199
6.1.2 信道编码的基本思想和分类 201
6.1.3 差错控制的基本方式 203
6.1.4 信道编码基本数学知识 205
6.2 有噪信道编码 206
6.2.1 噪声信道的编码问题 207
6.2.2 错误概率与编码方法 211
6.2.3 有噪信道编码定理 218
6.3 线性分组码 222
6.3.1 分组码的性质 223
6.3.2 生成矩阵与奇偶校验矩阵 224
6.3.3 几种典型的分组码 225
6.4 卷积码 236
6.4.1 卷积码编码 236
6.4.2 卷积码的译码 242
6.5 纠正突发错误码 246
6.5.1 突发差错与纠突发差错的基本概念 246
6.5.2 法尔码 247
6.6 交织码 250
习题 254
第七章 信息工程中的数据保密 256
7.1 信息保密通信的模型 256
7.2 传统密码体制 257
7.2.1 单表代换密码 257
7.2.2 多表代换密码 261
7.2.3 多字母代换 263
7.2.4 转置密码 265
7.3 分组(块)密码 266
7.3.1 分级加密的基本概念 266
7.3.2 数据加密标准(DES) 268
7.4 公开密钥密码体制 276
7.4.1 公开密钥的一般原理 276
7.4.2 RSA体制 277
习题 278
参考文献 280