第1章 信息概念与信息熵 1
1.1 信息概念的引入与自信息 1
1.1.1 从通信有效性的角度提出狭义信息的概念 2
1.1.2 自信息 4
1.2 单符号离散信源的信息熵 8
1.3 信息熵的性质 11
习题 19
第2章 单符号离散信道和平均交互信息量 20
2.1 单符号离散信道的数学模型 20
2.2 信息的流动及其与通信可靠性的关系 21
2.3 平均交互信息量 23
2.4 平均交互信息量的性质 29
2.5 单符号离散信道的信道容量 32
2.5.1 信道容量的定义 32
2.5.2 离散无噪信道的信道容量 33
2.5.3 对称信道的信道容量 36
2.5.4 用计算机辅助计算信道容量 37
习题 41
第3章 多符号离散信源和信道 42
3.1 多符号离散信源的消息符号 42
3.2 多符号离散无记忆信源 43
3.3 多符号离散平稳有记忆信源 45
3.4 离散平稳有记忆信源的数学模型及其极限熵 47
3.4.1 离散平稳有记忆信源的数学模型 47
3.4.2 多符号离散平稳有记忆信源的熵 48
3.5 马尔可夫链与马尔可夫信源 55
3.5.1 马尔可夫链 55
3.5.2 相关长度有限的多符号离散平稳信源与马尔可夫链 57
3.6 多符号离散信道 60
3.6.1 离散无记忆信道的扩展信道 62
3.6.2 独立并列信道的信道容量 67
习题 69
第4章 连续信源和连续信道 70
4.1 单变量连续信源 70
4.1.1 单变量连续信源的数学模型及其离散化 70
4.1.2 单变量连续信源的相对熵及其特性 71
4.1.3 相对熵的最大熵值 74
4.2 单变量连续信道 76
4.2.1 单变量连续信道的数学模型及其平均交互信息量 76
4.2.2 单变量连续信道的信道容量和高斯加性信道 78
4.3 多变量连续信源与信道 83
4.3.1 多变量连续信源 83
4.3.2 多变量连续信道 87
4.3.3 多变量高斯白噪声加性连续信道 90
习题 96
第5章 无失真信源编码 98
5.1 对信源编码的要求及单义可译码 98
5.1.1 信源编码的过程及对无失真信源编码的要求 98
5.1.2 单义可译码 100
5.2 即时码及用树图构码的方法 101
5.3 单义可译定理 104
5.3.1 必要性的证明 105
5.3.2 充分性证明 109
5.4 无失真信源编码的有效性和香农第一定理 110
5.4.1 平均码长及其与信息熵的关系 110
5.4.2 单符号离散无记忆信源的平均码长界限定理 113
5.4.3 多符号离散信源编码的极限平均码长 116
5.5 香农第一定理和数据压缩 119
5.5.1 香农第一定理 119
5.5.2 无失真信源编码定理与数据压缩 122
5.6 霍夫曼编码 125
5.7 算术编码 131
习题 134
第6章 有噪信道的编码译码 136
6.1 信道译码 136
6.1.1 信道译码与译码规则 136
6.1.2 平均错译概率 137
6.1.3 最大后验概率译码准则 138
6.2 信道编码 141
6.3 信道分组编码的检纠错能力和码字间最小汉明距离的关系 150
6.4 信息流理论与香农第二定理 152
6.4.1 信道等效信息流模型 153
6.4.2 等效信息流分析与香农第二定理 158
习题 160
第7章 信息率失真函数 162
7.1 信源失真编码与信道的关系 163
7.2 失真函数和平均失真度 164
7.3 信息率失真函数的定义及其性质 168
7.3.1 信息率失真函数R（D）的定义 168
7.3.2 R（D）函数的定义域及其性质 171
7.4 信息率失真函数的其他应用 173
习题 176
第8章 信道检纠错编码 178
8.1 分组码概念 178
8.2 线性分组码的编码 180
8.3 线性分组码的译码 185
8.4 汉明码 191
8.5 循环码 194
8.5.1 循环码及其多项式表示 195
8.5.2 系统循环码的编码和译码 199
8.6 卷积码 202
8.6.1 卷积码编码器的一般结构 203
8.6.2 卷积码的编码过程及解析表示 204
8.6.3 卷积码编码过程的图示法 210
8.6.4 卷积码的维特比译码 212
习题 216
附录A 凸函数和詹森不等式 217
A.1 凸域 217
A.2 凸函数 218
A.3 詹森不等式 218
附录B 信道编码的代数知识 221
B.1 域的概念 221
B.2 线性空间和矩阵 223
参考文献 227