第1章 绪论 1
1.1 信息的概念 1
1.2 信息论的形成和发展 3
1.3 信息论的研究范畴 4
1.4 通信系统模型 5
1.5 习题 7
第2章 信源和信息熵 8
2.1 信源的特性和分类 8
2.2 离散信源的信息度量 11
2.2.1 信息量的定义 11
2.2.2 自信息量 12
2.2.3 联合信息量与条件自信息量 15
2.3 互信息量 16
2.3.1 互信息量的定义 16
2.3.2 互信息的性质 17
2.3.3 条件互信息和联合互信息 18
2.4 信源熵 20
2.5 条件熵和联合熵 21
2.6 熵函数的数学特性 23
2.7 加权熵 27
2.8 平均互信息量 31
2.9 信息不增性原理 40
2.10 平稳离散信源 42
2.10.1 离散平稳无记性信源的扩展信源 43
2.10.2 离散平稳信源的熵 45
2.10.3 马尔可夫信源 49
2.10.4 信源的冗余度 54
2.11 连续信源 56
2.11.1 连续随机变量的熵 57
2.11.2 最大相对熵 60
2.11.3 熵功率 62
2.12 习题 64
第3章 信道及信道容量 67
3.1 信道的数学模型和分类 67
3.1.1 信道的分类 67
3.1.2 单符号离散信道的数学模型 68
3.2 单符号离散信道中的熵速率与信道容量 69
3.2.1 离散无噪声信道的熵速率和信道容量 69
3.2.2 几种特殊离散信道的容量 70
3.2.3 对称离散信道的信道容量 72
3.2.4 离散信道容量的一般计算方法 76
3.3 多符号离散信道及其信道容量 81
3.4 组合信道的信道容量 84
3.4.1 串联信道及其信道容量 85
3.4.2 独立并联信道的信道容量 87
3.5 网络信息理论 87
3.5.1 多址接入信道 87
3.5.2 广播信道 89
3.5.3 相关信源的多用户信道 89
3.6 连续信道及其信道容量 90
3.6.1 连续信道的平均互信息量 90
3.6.2 连续信道的熵速率与信道容量 91
3.6.3 连续信源的香农公式与噪声 93
3.7 信道编码定理 95
3.8 习题 96
第4章 信源编码 98
4.1 编码的定义 99
4.2 码的分类 99
4.3 离散无失真信源编码定理 103
4.4 离散信源编码 107
4.4.1 香农编码 107
4.4.2 费诺编码 108
4.4.3 赫夫曼编码 109
4.4.4 游程编码 114
4.4.5 冗余位编码 117
4.4.6 Lempel-Ziv编码 119
4.4.7 算术编码 121
4.5 习题 124
第5章 信道编码 127
5.1 数字通信系统 127
5.2 信道编码及编码定理 128
5.3 信道模型 129
5.3.1 二进制对称信道 129
5.3.2 离散无记忆信道 130
5.3.3 离散输入、连续输出信道 130
5.3.4 波形信道 131
5.4 差错控制方式 132
5.5 信道编码的分类及其基本概念 133
5.5.1 信道编码的分类 133
5.5.2 信道编码的基本概念 134
5.6 常见的几种检错码 136
5.6.1 奇偶校验码 136
5.6.2 水平奇偶校验码 137
5.6.3 水平垂直奇偶校验码 137
5.6.4 恒比码 138
5.6.5 群计数码 138
5.7 线性分组码 139
5.7.1 基本概念 139
5.7.2 线性分组码的编码 139
5.7.3 线性分组码的译码 143
5.8 循环码 145
5.8.1 循环码的代数结构 145
5.8.2 循环码的编码 149
5.8.3 循环码的译码 150
5.9 卷积码 151
5.9.1 基本原理 151
5.9.2 卷积码的描述 152
5.9.3 卷积码的译码 155
5.10 Turbo码 157
5.10.1 Turbo码的编码 157
5.10.2 Turbo码的译码 160
5.11 LDPC码 162
5.11.1 LDPC码的编码 162
5.11.2 LDPC码的译码 163
5.12 习题 165
第6章 信息率失真函数 167
6.1 基本概念 168
6.1.1 失真函数与平均失真度 169
6.1.2 信息率失真函数的定义 170
6.1.3 信息率失真函数R（D）的性质 171
6.2 离散信源的信息率失真函数 173
6.2.1 离散信源信息率失真函数的参量表达式 173
6.2.2 二元信源的信息率失真函数 174
6.2.3 离散信源R（D）函数计算 176
6.2.4 信息率失真函数R（D）的迭代算法 179
6.3 连续信源的信息率失真函数 180
6.4 限失真信源编码定理 183
6.5 习题 184
第7章 信息论方法的应用 186
7.1 信息论方法在信号处理中的应用 186
7.2 信息论在其他学科领域的应用 189
7.2.1 信息论与博弈论 189
7.2.2 信息论与统计学 191
7.2.3 信息论与密码学 191
7.3 最大熵谱与最小误差熵估计 192
7.3.1 最大熵谱估计 192
7.3.2 最小误差熵估计 197
7.4 习题 198
参考文献 199