目录 1
第1章 信息论基础 1
1.1 信息的概念 2
1.2 信息传输系统 3
1.3 离散信源及其数学模型 4
1.3.1 离散无记忆信源 5
1.3.2 离散无记忆的扩展信源 5
1.3.3 离散平稳有记忆信源 6
1.3.4 马尔可夫信源 7
1.4 离散信道及其数学模型 8
1.4.1 离散无记忆信道 9
1.4.2 离散无记忆的扩展信道 10
本章小结 11
思考题与习题 12
第2章 信息的度量 13
2.1 自信息量和互信息量 14
2.1.1 自信息量和条件自信息量 15
2.1.2 互信息量和条件互信息量 18
2.2 离散集的平均自信息量 22
2.2.1 信息熵 22
2.2.2 熵函数的性质 26
2.3 离散集的平均互信息量 31
2.3.1 平均互信息量 31
2.3.2 平均互信息量的性质 33
2.3.3 有关平均互信息量的两条定理 36
2.4.1 N维扩展信源的熵 39
2.4 N维扩展信源的熵和平均互信息量 39
2.4.2 N维扩展信源的平均互信息量 41
2.4.3 有关N维平均互信息量的两条定理 42
本章小结 44
思考题与习题 44
第3章 离散信源无失真编码 47
3.1 概述 48
3.1.1 码的分类 49
3.1.2 平均码长的计算 52
3.1.3 信息传输率 54
3.2 等长码及等长编码定理 55
3.3 变长码及变长编码定理 58
3.3.1 变长码 58
3.3.2 克拉夫特不等式 59
3.3.3 变长编码定理 61
3.4 变长码的编码方法 66
3.4.1 香农编码法 66
3.4.2 费诺编码法 68
3.4.3 霍夫曼编码法 69
本章小结 73
思考题与习题 74
第4章 率失真编码 78
4.1 失真测度与平均失真 79
4.2 信息率失真函数R（D） 82
4.2.1 率失真函数的定义 82
4.2.2 率失真函数的值域、定义域 83
4.2.3 率失真函数的性质 84
4.3.1 两种特殊情况下的求解 87
4.3 率失真函数的计算 87
4.3.2 R（D）的参数表示法 91
4.4 率失真信源编码定理 95
本章小结 95
思考题与习题 96
第5章 离散信道的信道容量 99
5.1 信道容量的定义 100
5.2 离散无记忆信道容量的计算 100
5.2.1 达到信道容量的充要条件 101
5.2.2 几类特殊信道 105
5.3 组合信道的容量 112
5.3.1 独立并行信道 112
5.3.2 和信道 113
5.3.3 串行信道 114
本章小结 116
思考题与习题 117
第6章 有噪信道编码 119
6.1 信道编码的基本概念 120
6.2 译码规则及错误概率 122
6.3 信道编码定理 126
6.4 费诺不等式及信道编码逆定理 129
6.4.1 费诺不等式 129
6.4.2 信道编码逆定理 131
本章小结 132
思考题与习题 133
第7章 纠错编码代数基础 135
7.1.1 群的定义 136
7.1 群 136
7.1.2 子群 138
7.1.3 群的陪集分解 139
7.2 环 140
7.2.1 环的定义 140
7.2.2 整数剩余类环 142
7.2.3 多项式剩余类环 142
7.3 域 143
7.3.1 域的定义 143
7.3.2 有限域 144
7.3.3 有限域的本原元 145
7.3.4 有限域的结构 146
7.3.5 有限域的共轭根组 147
7.3.6 有限域的综合举例 148
本章小结 150
思考题与习题 150
第8章 线性分组码 152
8.1.2 差错控制系统模型及分类 153
8.1.1 信道纠错编码 153
8.1 纠错编码的基本概念 153
8.1.3 纠错编码的分类 154
8.1.4 差错类型 155
8.2 线性分组码的编码 156
8.2.1 生成矩阵 156
8.2.2 校验矩阵 158
8.2.3 编码的实现 160
8.3 伴随式与译码 161
8.3.1 码的距离和重量 161
8.3.2 线性码的纠检错能力 162
8.3.3 陪集分解与伴随式 163
8.3.4 标准阵列与译码表 165
8.4 汉明码 168
8.4.1 汉明码的构造 168
8.4.2 汉明限与完备码 169
本章小结 170
思考题与习题 170
第9章 循环码 172
9.1.2 循环码的多项式描述 173
9.1 循环码的一般概念 173
9.1.1 循环码的定义 173
9.1.3 循环码的生成多项式 175
9.2 循环码的编码 177
9.2.1 利用生成多项式g（x）实现编码 177
9.2.2 除法电路 178
9.2.3 编码电路 179
9.3 循环码的译码 180
9.3.1 伴随式计算 181
9.3.2 循环码的译码 182
9.3.3 Meggit通用译码器 184
9.4 一些重要的循环码 184
9.4.1 循环汉明码 184
9.4.2 BCH码 185
本章小结 188
思考题与习题 188
第10章 卷积码 190
10.1.1 卷积码概述 191
10.1 卷积码的基本概念 191
10.1.2 卷积码的矩阵描述 192
10.2 卷积码的概率译码 195
10.2.1 状态图和网格图 195
10.2.2 最大似然译码 196
10.2.3 维特比译码算法 198
本章小结 201
思考题与习题 202
参考文献 203