第1章 绪论 1
1.1 基本概念 1
1.1.1 信息的一般概念 1
1.1.2 香农信息定义 4
1.1.3 信息论与编码技术发展简史 6
1.2 数字通信系统模型 8
1.3 信息论与编码理论研究的主要内容和意义 9
1.3.1 信息论研究的主要内容 9
1.3.2 香农信息论对信道编码的指导意义 10
1.3.3 香农信息论对信源编码的指导意义 10
思考题与习题 11
第2章 信源及其熵 13
2.1 信源的数学模型和分类 13
2.1.1 信源的数学模型 13
2.1.2 信源的分类 14
2.2 离散信源的信息熵及其性质 18
2.2.1 自信息 19
2.2.2 信息熵 20
2.2.3 熵的基本性质 22
2.3 离散无记忆信源的扩展信源 26
2.4 离散平稳信源 28
2.4.1 平稳信源的概念 28
2.4.2 二维平稳信源 29
2.4.3 一般离散平稳信源 33
2.5 连续信源的信息熵 34
2.5.1 单符号连续信源的熵 34
2.5.2 波形信源的熵 37
2.5.3 最大熵定理 38
2.6 信源的冗余度 39
2.6.1 信源效率 39
2.6.2 信源冗余度 40
2.7 离散无失真信源编码定理 41
2.7.1 信源编码的基本概念 41
2.7.2 香农第一定理 43
思考题与习题 45
第3章 信道及其容量 47
3.1 信道的数学模型与分类 47
3.1.1 信道的分类 48
3.1.2 信道的数学模型 49
3.1.3 单符号离散信道 51
3.2 信道疑义度与平均互信息 53
3.2.1 信道疑义度 53
3.2.2 平均互信息 54
3.2.3 平均互信息的性质 58
3.3 离散无记忆的扩展信道 61
3.4 离散信道的信道容量 63
3.4.1 信道容量的定义 63
3.4.2 简单离散信道的信道容量 64
3.4.3 对称离散信道的信道容量 67
3.4.4 离散无记忆N次扩展信道的信道容量 69
3.5 连续信道的信道容量 70
3.5.1 连续单符号加性高斯噪声信道的信道容量 70
3.5.2 多维无记忆加性连续信道的信道容量 72
3.5.3 限频限时限功率的加性高斯白噪声信道的信道容量 76
3.6 信源与信道的匹配 79
3.7 信道编码定理 80
思考题与习题 81
第4章 信息率失真函数 85
4.1 失真测度 86
4.1.1 系统模型 86
4.1.2 失真度和平均失真度 86
4.2 信息率失真函数及其性质及其性质 88
4.2.1 信息率失真函数的定义 88
4.2.2 信息率失真函数的性质 89
4.3 离散无记忆信源的信息率失真函数 92
4.3.1 等概率、对称失真信源的R（D）计算 92
4.3.2 离散无记忆信源的信息率失真函数的参量表述 94
4.4 连续无记忆信源的信息率失真函数 100
4.4.1 连续无记忆信源的信息率失真函数的定义 100
4.4.2 高斯信源的信息率失真函数 101
4.4.3 连续无记忆信源的信息率失真函数的参量表述 103
4.4.4 差值失真度量下连续无记忆信源的信息率失真函数 104
4.5 保真度准则下的信源编码定理 108
思考题与习题 109
第5章 信源编码 111
5.1 编码器和相关概念 111
5.1.1 码的分类 112
5.1.2 码树 115
5.1.3 Kraft不等式 117
5.2 变长编码 118
5.2.1 香农码 120
5.2.2 费诺码 121
5.2.3 霍夫曼码 123
5.3 限失真信源编码 129
5.4 实用信源编码方法 129
5.4.1 游程编码 129
5.4.2 算术编码 133
5.4.3 预测编码 139
5.4.4 变换编码 141
思考题与习题 149
第6章 信道编码 155
6.1 信道编码的概念 155
6.1.1 信道编码的分类 155
6.1.2 与纠错编码有关的基本概念 157
6.1.3 检错与纠错原理 162
6.1.4 检错与纠错方式和能力 164
6.2 线性分组码 166
6.2.1 线性分组码的基本概念 166
6.2.2 生成矩阵和一致校验矩阵 168
6.2.3 线性分组码的译码 175
6.2.4 线性分组码的纠错能力 178
6.2.5 汉明码 181
6.3 循环码 182
6.3.1 循环码的多项式描述 183
6.3.2 循环码的生成矩阵 184
6.3.3 系统循环码 187
6.3.4 多项式运算电路 188
6.3.5 循环码的编码电路 190
6.3.6 循环码的译码电路 192
6.3.7 常用的循环码 195
6.4 卷积码 200
6.4.1 卷积码的编码 200
6.4.2 卷积码的译码 208
思考题与习题 213
第7章 MATLAB在信息论与编码分析中的应用 217
7.1 MATLAB概述 217
7.2 MATLAB运行环境简介 219
7.2.1 命令窗口（Command Window） 219
7.2.2 当前目录浏览器窗口（Current Directory Browser） 221
7.2.3 工作空间浏览器窗口（Workspace Browser） 222
7.2.4 数组编辑器窗口（Array Editor） 224
7.2.5 M文件编辑／调试器窗口（Editor/Debugger） 225
7.2.6 MATLAB的帮助系统 225
7.3 MATLAB操作基础 225
7.3.1 MATLAB的用户文件类型 225
7.3.2 MATLAB数值计算功能 226
7.3.3 MATLAB的图形功能 231
7.4 MATLAB在信息理论分析中的应用 236
7.4.1 离散信源的MATLAB分析 236
7.4.2 离散信道的MATLAB分析 237
7.4.3 应用MATLAB进行信息理论分析的实例 237
7.5 MATLAB在编码技术分析中的应用 239
7.5.1 信源编码技术的MATLAB分析 239
7.5.2 信道编码技术的MATLAB仿真 241
7.5.3 应用MATLAB进行编码技术分析的实例 249
思考题与习题 251
参考文献 253