第1章 引言 1
1.1 信息论的发展概况 1
1.1.1 信息论的早期酝酿 1
1.1.2 Shannon信息论的建立与发展 2
1.1.3 信息论的近期发展 4
1.1.4 信息论在信息技术领域中的应用 5
1.2 信息论与编码理论的主要内容 7
1.2.1 信息的度量问题 7
1.2.2 通信系统的基本模型 8
1.2.3 通信系统中信息的传递过程 9
1.2.4 通信系统的概率统计模型 9
1.2.5 通信系统的序列模型 12
1.3 本书内容简介与文献介绍 13
1.3.1 内容简介 14
1.3.2 有关著作和文献介绍 14
1.3.3 对有关记号的说明 16
习题1 17
第一部分 信息论 18
第2章 信息量 18
2.1 熵 18
2.1.1 离散随机变量的不肯定性 18
2.1.2 不肯定性的特征与表示 19
2.1.3 熵的简单性质与例子 23
2.2 联合熵和条件熵 24
2.2.1 联合熵的记号 24
2.2.2 条件熵的定义与性质 25
2.3 熵的基本性质 28
2.3.1 对数函数的基本不等式与熵函数的最大值 28
2.3.2 熵函数的可加性 30
2.3.3 Fano不等式 32
2.4 互熵与互信息 32
2.4.1 互熵 33
2.4.2 互信息 33
2.4.3 条件互信息 34
2.5 凸函数及其应用 35
2.5.1 凸函数的定义与它的判别 35
2.5.2 Jenson不等式与它的应用 36
2.6 连续型随机变量的信息量 38
2.6.1 连续型随机变量的Shannon熵 38
2.6.2 多维连续型随机变量的Shannon熵 39
2.6.3 其他连续型随机变量的信息量 42
2.7 最大熵原理 43
2.7.1 有限区间情形的最大熵 43
2.7.2 半开区间情形的最大熵 44
2.7.3 全直线情形的最大熵 45
2.7.4 多维连续型随机变量的最大熵 46
习题2 47
第3章 信源编码 51
3.1 信源编码问题 51
3.1.1 信源编码 51
3.1.2 定长编码与变长编码 51
3.1.3 信源变长码的编码问题 53
3.1.4 信源序列的定长编码问题 54
3.2 前缀码和即时码 56
3.2.1 唯一可译变长码的构造 56
3.2.2 Kraft不等式 57
3.3 信源变长码的编码定理 60
3.3.1 最优变长码平均码长的下界估计 61
3.3.2 最优变长码平均码长的上界估计 62
3.3.3 无记忆信源平均码长的上界和下界估计 63
3.4 Huffman信源编码算法 63
3.4.1 Huffman编码的实例分析 64
3.4.2 Huffman编码的一般算法 65
3.5 Huffman信源编码性能分析 67
3.5.1 Huffman编码的前缀性 67
3.5.2 Huffman编码的最优性 68
3.6 信源定长码的编码定理 74
习题3 78
第4章 信道编码定理 80
4.1 信道编码问题 80
4.1.1 通信系统的编码误差 80
4.1.2 信道序列的编码问题 82
4.2 离散无记忆信道 83
4.2.1 离散无记忆信道的一般定义 83
4.2.2 几种特殊的离散无记忆信道 84
4.3 无记忆信道的信道容量 87
4.3.1 信道容量的一般定义 87
4.3.2 无记忆信道序列的容量性质 90
4.4 信道容量的计算 93
4.4.1 凸函数的极大值性质 93
4.4.2 信道容量的计算 97
4.5 信道的编码和译码问题 102
4.6 信道的正编码定理和反编码定理 106
4.7 可加高斯（Gaussian）信道 113
习题4 115
第二部分 抽象代数 117
第5章 抽象代数的基本知识 117
5.1 群 117
5.2 环和域 121
5.3 理想和商环 123
5.4 域上的多项式 124
5.5 有限域 130
5.6 域上的线性代数 134
习题5 138
第三部分 编码理论 140
第6章 编码理论的基本知识 140
6.1 码的基本概念 140
6.1.1 码的定义 140
6.1.2 Hamming距离和Hamming重量 141
6.1.3 译码策略 142
6.1.4 系统码 142
6.2 码的检错和纠错能力 143
6.3 编码理论的基本问题 145
6.3.1 码的等价变换 146
6.3.2 编码理论的一些界 149
习题6 154
第7章 线性码 156
7.1 线性码的定义 156
7.2 线性码的对偶码 157
7.3 线性码的译码方法 161
7.4 线性码的重量分布 164
习题7 168
第8章 Hamming码 171
8.1 Hamming码的定义 171
8.2 Hamming码的性质 172
8.3 Hamming码的译码方法 172
8.4 二元Hamming码的对偶码 175
习题8 177
第9章 循环码 179
9.1 循环码的定义 179
9.2 循环码的性质 181
9.3 循环码的校验矩阵及其对偶码 184
9.4 循环码的编码方法 188
9.5 循环码的检错性能 189
习题9 190
第10章 BCH码和Reed-Solomon码 193
10.1 BCH码及其基本性质 193
10.2 Reed-Solomon码及其基本性质 197
10.3 BCH码和Reed-Solomon码的译码方法 198
10.4 Reed-Solomon码和最大距离可分码的重量分布 202
习题10 203
第11章 几种重要的线性码 205
11.1 Golay码 205
11.2 Reed-Muller码 206
11.2.1 布尔函数 207
11.2.2 Reed-Muller码 209
11.3 平方剩余码 210
11.4 Goppa码 211
习题11 212
第四部分 信息论和编码理论的应用 214
第12章 若干应用问题 214
12.1 有失真的数据压缩 214
12.1.1 有失真信源编码问题 214
12.1.2 有失真信源的率失真函数 215
12.1.3 有失真信源编码的可达速率 216
12.1.4 率失真函数的计算 217
12.1.5 有失真信源编码定理 219
12.1.6 数据压缩问题概述 219
12.1.7 数据压缩问题的实例分析 219
12.1.8 数据压缩技术的主要分析指标 222
12.2 卷积码理论及其应用 223
12.2.1 卷积码的构造 224
12.2.2 卷积码的树结构 226
12.2.3 卷积码的译码算法 228
12.2.4 卷积码的应用 231
12.3 几种实用的编码问题 232
12.3.1 汉字编码 232
12.3.2 计算机代码 234
12.3.3 图形码 235
习题12 236
主要参考文献 238