目录 1
第1章 绪论 1
1.1 信息的概念 1
1.1.1 信息、消息及信号的区别与联系 1
1.1.2 香农信息的定义与度量 3
1.2 信息论研究的对象、目的和内容 8
1.2.1 信息论研究的对象 8
1.2.2 信息论研究的目的 9
1.2.3 信息论研究的内容 10
1.3 信息论的形成及发展 11
第2章 离散信源及信息的度量 15
2.1 信源的数学模型及分类 15
2.1.1 信源输出的消息由随机变量描述 15
2.1.2 信源输出的消息由随机矢量描述 17
2.1.3 信源输出的消息由随机过程描述 18
2.2 离散信源的信息量 18
2.2.1 非平均不确定性 19
2.2.2 非平均信息量 20
2.3 熵的基本性质 23
2.2.3 平均信息量 23
2.4 消息序列的熵 38
2.4.1 消息序列信息量的一般表达式 39
2.4.2 离散无记忆的扩展信源 40
2.4.3 离散平稳信源 42
2.4.4 马尔可夫信源＊ 50
2.5 信源的相关性和剩余度 55
习题 56
第3章 离散信源的无失真编码 60
3.1 编码器 60
3.2 离散无记忆信源的渐近等同分割性 64
3.3 等长码和等长信源编码定理 65
3.4 变长码 70
3.4.1 码的分类和主要编码方法 71
3.4.2 克拉夫特不等式和麦克米伦不等式 72
3.4.3 惟一可译码判断准则 76
3.5 香农第一定理 77
3.5.1 码的平均长度 77
3.5.2 变长无失真信源编码定理 81
3.6 变长码的编码方法 84
3.6.1 香农编码 84
3.6.2 费诺编码 87
3.6.3 霍夫曼编码 88
3.7 离散平稳信源和马尔可夫信源的编码定理＊ 94
3.7.1 离散平稳信源的编码定理 94
3.7.2 马尔可夫信源的编码定理 95
习题 98
第4章 离散信道及信道容量 101
4.1 信道的数学模型和分类 101
4.1.1 信道 101
4.1.2 信道的分类 102
4.1.3 离散信道的数学模型 103
4.1.4 单维离散信道的数学模型 104
4.2 信道传输的平均互信息 106
4.2.1 损失熵和噪声熵 107
4.2.2 平均互信息 108
4.2.3 平均条件互信息 109
4.3 平均互信息的特性 111
4.4 信道容量的概念及其计算方法 117
4.4.1 信道容量的定义 117
4.4.2 简单离散信道的信道容量 118
4.4.3 对称离散信道的信道容量 120
4.4.4 一般离散信道的信道容量 124
4.4.5 离散无记忆信道容量的迭代算法＊ 134
4.4.6 离散无记忆N次扩展信道及其信道容量 139
4.5 串联信道和并联信道的信道容量 143
4.5.1 串联信道及其信道容量 143
4.5.2 并联信道及其信道容量 147
4.6 信源与信道的匹配 149
习题 150
5.1 错误概率和译码规则 154
第5章 有噪信道编码 154
5.1.1 错误概率的分析 155
5.1.2 两种典型的译码规则 156
5.1.3 费诺不等式 159
5.2 错误概率与编码方法 160
5.2.1 简单重复编码 161
5.2.2 消息符号个数 163
5.2.3 （5，2）线性码 165
5.2.4 汉明距离 166
5.3 联合典型序列与联合渐近等同分割定理 170
5.4.1 有噪信道编码定理 172
5.4 香农第二定理 172
5.4.2 有噪信道编码定理的逆定理 174
5.4.3 错误概率的上界 175
习题 175
第6章 离散信源的限失真编码 178
6.1 失真测度 178
6.1.1 失真度 179
6.1.2 平均失真度 182
6.2 信息率失真函数 183
6.2.1 D允许信道（试验信道） 183
6.2.2 信息率失真函数的定义 184
6.2.3 信息率失真函数的性质 185
6.3 信息率失真函数的参量表述及其计算 191
6.3.1 利用信源的对称性来计算信息率失真函数 191
6.3.2 信息率失真函数的参量表述 193
6.4 信息率失真函数的迭代计算＊ 200
6.5 香农第三定理 204
6.5.1 限失真信源编码定理 204
6.5.2 限失真信源编码逆定理 209
6.5.3 限失真编码定理的意义 210
习题 211
第7章 连续信源和波形信源 215
7.1 连续／波形信源的统计特性 215
7.2 连续信源和波形信源的信息度量 217
7.2.1 连续信源的差熵 217
7.2.2 波形信源的差熵 222
7.2.3 三种特殊连续信源的差熵 223
7.3 最大差熵定理 226
7.3.1 峰值功率受限最大差熵定理 226
7.3.2 平均功率受限最大差熵定理 227
7.4 熵速率和熵功率 229
7.5 连续信源熵的变换 230
7.5.1 坐标变换后概率密度函数的变化 230
7.5.2 坐标变换后差熵的变化 231
7.6 连续信源的信息率失真函数 234
7.6.1 连续信源的信息率失真函数定义 234
7.6.2 平方误差失真度下高斯信源的信息率失真函数 235
习题 238
第8章 连续信道和波形信道 240
8.1 连续／波形信道的分类 240
8.1.1 按噪声统计特性分类 241
8.1.2 按噪声对信号的作用功能分类 243
8.2 连续信道的信息传输率 245
8.2.1 单维连续信道的平均互信息 245
8.2.2 多维连续信道的平均互信息 246
8.2.3 连续信道平均互信息的特性 246
8.3 连续信道的信道容量 251
8.3.1 单维高斯加性信道 251
8.3.2 单维非高斯加性信道 252
8.3.3 多维无记忆高斯加性连续信道 253
8.3.4 多维有记忆高斯加性连续信道 258
8.4 波形信道的信息传输率和信道容量 260
8.4.1 波形信道的信息传输率 260
8.4.2 高斯白噪声加性波形信道 261
8.4.3 有色高斯加性波形信道 263
8.5 连续信道编码定理 265
习题 268
第9章 网络信息理论 270
9.1 网络信道的分类 270
9.1.1 多源接入信道 270
9.1.2 广播信道 271
9.1.3 中继信道 272
9.1.4 串扰信道 272
9.1.5 反馈信道 272
9.2 多个随机变量下的联合典型序列 274
9.3 相关信源编码 277
9.3.1 两个相关信源的模型 277
9.3.2 相关信源编码定理 278
9.4 多源接入信道 281
9.4.1 多源接入信道的容量 281
9.4.2 相关信源的多源接入信道 286
9.4.3 高斯多源接入信道 288
附录 Matlab源程序 293
附录A 信息熵 293
附录B 离散无记忆信道容量的迭代计算 293
附录C Shannon编码 295
附录D Fano编码 297
附录E Huffman编码 300
附录F 信息率失真函数的迭代计算 303
参考文献 308