目录 1
前言…………………………………………………………………………… ⅲ第一章 概论 1
1.1 信息理论的基本内容 1
1.2 信息理论的发展简史 3
1.3 控制论、信息论与系统论 7
1.4 信息理论的应用 9
1.5 本书的结构 12
第二章 有关信息的基本概念与问题 13
2.1 引言 13
2.2 自信息与熵 14
2.3 互信息 17
2.4 多系统 22
2.5 凸性定理 24
2.6 唯一性定理 25
2.7 马科夫过程与马科夫熵 29
2.8 热熵与信息熵 31
3.1 引言 33
第三章 信源及其编码的一些基本概念和理论 33
3.2 自然语言和文字作为信源 35
3.3 信源熵 35
3.4 信源编码 37
3.5 无记忆信源 38
3.6 定长码 39
3.7 变长码 42
3.8 码字的平均长度 45
3.9 最优编码 47
3.10 记忆信源 49
3.11 平稳信源 51
3.12 遍历性信源 53
第四章 信道及其编码的一些基本概念和基本理论 59
4.1 引言 59
4.2 信道理论 59
4.3 信道编码 60
4.4 信道容量 60
4.5 通信系统 61
4.6 无记忆信道容量 62
4.7 凸性 66
4.8 信道容量方程的解 69
4.9 唯一性 70
4.10 传输特性 73
4.11 仙农定理 73
4.12 级联信道 74
4.13 无限级联问题 75
4.14 并联信道 81
附录 82
习题 83
第五章 连续信源与连续信道 86
5.1 连续随机变量的熵 86
5.2 连续信源与连续信道 86
5.3 连续随机变量的微熵 87
5.4 高斯信号的信息度量 88
5.5 无记忆的高斯信道和高斯信源 92
5.6 有记忆的高斯信道和信源 97
5.7 抽样定理 99
5.8 高斯波形信道与信源 100
5.9 比特能量与比特误差率 104
5.10 具有频带限制的信号 106
5.11 无频带制约的信号 110
5.12 熵功率不等式 112
5.13 中心极限定理 117
习题 120
6.2 变长码 124
6.1 引言 124
第六章 有关编码的一些基本概念 124
6.3 变长码定理 125
6.4 克拉夫特定理 126
6.5 最优码 127
6.6 检错码 129
6.7 纠错码 130
6.8 汉明码 130
6.9 加权码 131
7.1 引言 133
7.2 离散含噪信道 133
第七章 数据传输码 133
7.3 距离与分量的表示方法 135
7.4 互信息函数 136
7.5 数据传输的块码 139
习题 140
第八章 数据译码与紧缩码 145
8.1 数据译码 145
8.2 数据紧缩码 149
8.3 离散信源的信息容量 150
8.4 熵函数 151
8.5 为数据紧缩的前束码 157
习题 159
第九章 数据压缩码 165
9.1 引言 165
9.2 大于信道容量的传输速率 165
9.3 信息的压缩 166
9.4 压缩数据的信息容量 167
9.5 信息传输定理 170
习题 172
第十章 试验假设 175
10.1 引言 175
10.2 曼-皮尔逊定理 175
10.3 诺思滤波器 177
10.4 判别函数 181
10.5 在性能上的初步极限 186
10.6 在性能上的渐近界限 187
10.7 误差-指数函数 191
10.8 逆定理 196
10.9 切尔诺夫界限 197
习题 200
第十一章 估计理论 205
11.1 引言 205
11.2 参数的估计 205
11.3 费希尔（Fisher）信息矩阵 208
11.4 多重并行估计 210
11.5 脉冲到达时间的估计 212
11.6 脉冲到达频率的估计 216
11.7 推理原理 218
11.8 谱估计 220
习题 221
第十二章 多端信息网络 224
12.1 引言 224
12.2 反馈信道 224
12.3 多用户信道 226
12.4 广播信道 230
12.5 双向信道 232
12.6 相关数据的远程紧缩 237
12.7 具有旁信息的数据紧缩 241
12.8 具有旁信息的数据压缩 247
12.9 分布系统的数据压缩 250
第十三章 检错码与纠错码 256
13.1 引言 256
13.2 定长码与变长码 257
13.3 最优码 260
13.4 纠错码 261
13.5 线性误差纠错码——二进对称信道 262
13.6 卷积编码器 274
13.7 状态图与梯形图 275
13.8 最大相似解码与Viterbi算法 276
第十四章 信息率失真理论 278
14.1 引言 278
14.2 根据真实度准则的信源编码 278
14.3 信息率失真函数及其特性 281
14.4 信息率失真理论的基本定理 282
14.5 逆定理 284
习题 285
第十五章 条形码 287
15.1 引言 287
15.2 通用生产码符号的特性与可解码性 289
15.3 条形码的可靠性 300
附录A 凸函数的最小化 307
附录B K-L展开式 310
附录C Toeplitz分布定理 313
后记 314