第一章 信息论概述 1
第一节 信息的概念 1
一、信息的定义 1
二、信息的特征 2
第二节 信息论简介 3
一、通信系统模型 4
二、信息论研究的主要内容 6
三、信息论的一些应用成果 6
习题一 9
第二章 信息论的基本概念 10
第一节 预备知识 10
一、概率论基础知识回顾 10
二、凸函数及其性质 12
三、Jensen不等式 13
第二节 离散熵 13
一、自信息 13
二、信息熵的定义 15
三、熵函数的性质 17
四、联合熵与条件熵 21
第三节 离散互信息 24
一、事件的互信息 24
二、随机变量的互信息 26
三、互信息函数的性质 27
四、联合互信息与条件互信息 31
第四节 连续随机变量下的信息熵与互信息 33
一、连续随机变量下的微分熵 33
二、连续随机变量下的互信息 37
习题二 39
第三章 信源的熵率及冗余度 44
第一节 信源的分类及其数学模型 44
第二节 离散平稳信源的熵率 45
一、离散平稳信源的定义 45
二、离散平稳无记忆信源 47
三、离散平稳有记忆信源 47
第三节 马尔可夫信源的熵率 50
一、马尔可夫链的基本概念 51
二、马尔可夫信源的熵率 54
第四节 信源的冗余度 58
一、离散信源的冗余度 58
二、连续信源的最大熵与熵功率 61
习题三 64
第四章 信道及信道容量的计算 67
第一节 信道的分类及其数学模型 67
一、信道的分类 67
二、离散单符号信道的数学模型 68
第二节 信道容量及其计算方法 70
一、信道容量的概念 70
二、几种特殊信道的信道容量 72
三、离散对称信道的信道容量 73
四、一般离散信道的信道容量 77
五、信道容量定理 81
六、信道容量的迭代算法 85
第三节 离散无记忆扩展信道及其信道容量 88
第四节 组合信道及其信道容量 91
一、独立并联信道 91
二、级联信道 92
第五节 连续信道及其信道容量 92
一、高斯加性信道的信道容量 92
二、多维高斯加性信道的信道容量 94
第六节 波形信道及其信道容量 95
习题四 96
第五章 无失真信源编码 100
第一节 信源编码的基本概念 100
一、编码器 100
二、码的分类 102
第二节 渐近等分割性和ε典型序列 104
一、预备知识 104
二、渐近等分割性和ε典型序列 105
第三节 信源的定长编码定理 109
第四节 信源的变长编码定理 113
一、Kraft不等式和McMillan不等式 114
二、唯一可译码的判别准则 117
三、无失真变长编码定理 118
四、香农第一编码定理 120
第五节 霍夫曼码和其他编码方法 124
一、香农编码 124
二、香农—费诺—埃利斯编码 125
三、霍夫曼编码 125
四、费诺编码 129
第六节 实用的无失真信源编码方法 131
一、游程编码 131
二、算术码 133
三、LZW码 134
习题五 137
第六章 信道编码 141
第一节 信道编码的基本概念 141
一、错误概率与译码规则 142
二、错误概率与编码方法 146
第二节 有噪信道编码定理 153
一、有噪信道编码定理 153
二、有噪信道编码逆定理 156
三、错误概率的上界 157
第三节 纠错编码 158
一、纠错编码分类 158
二、纠错编码的基本概念 160
第四节 几种重要的纠错码 161
一、线性分组码 161
二、汉明码 172
三、循环码 173
四、卷积码 177
习题六 181
第七章 信息率失真函数与熵压缩编码 184
第一节 失真测度 185
一、失真函数 185
二、平均失真 187
第二节 信息率失真函数 188
一、D失真许可信道 188
二、信息率失真函数的定义 188
三、信息率失真函数R（D）的性质 189
第三节 信息率失真函数的计算 194
一、应用参量表示式计算R（D） 194
二、二元信源和离散等概信源的R（D）函数 200
第四节 限失真信源编码定理 202
一、限失真信源编码定理 202
二、限失真信源编码逆定理 206
第五节 熵压缩编码具体方法 207
一、标量量化 207
二、矢量量化 208
三、变换编码 209
四、预测编码 209
习题七 210
实验设计 213
习题参考答案 217
参考文献 223