第1章 绪论 1
1.1 基本概念 2
1.1.1 信息的含义 2
1.1.2 信息的表达 3
1.1.3 信息的处理 6
1.2 信息论概览 7
1.2.1 Shannon与信息论 7
1.2.2 通信系统的数学模型 8
本章小结 9
习题 9
第2章 离散信息的度量 10
2.1 基本概念 11
2.1.1 离散熵的定义 11
2.1.2 联合熵与条件熵 16
2.1.3 相对熵与互信息 21
2.2 离散熵的性质 25
2.2.1 离散熵的基本性质 25
2.2.2 链式法则 29
2.2.3 有关离散熵的不等式 31
2.3 离散熵的形式唯一性 34
本章小结 37
习题 37
第3章 数据压缩 39
3.1 基本概念 40
3.1.1 语言与编码 40
3.1.2 唯一可译码 45
3.1.3 即时码与前缀码 48
3.2 数据压缩的性质 50
3.2.1 前缀码的码长约束 50
3.2.2 唯一可译码的码长约束 53
3.2.3 最佳码 55
3.3 典型编码 57
3.3.1 Huffman编码 57
3.3.2 Fano编码 60
3.3.3 Shannon-Fano-Elias编码 61
本章小结 65
习题 65
第4章 离散信源 67
4.1 基本概念 68
4.1.1 离散信源模型 68
4.1.2 Markov信源 71
4.1.3 Markov链 74
4.2 信源编码 78
4.2.1 随机变量扩展 78
4.2.2 变长信源编码定理 80
4.2.3 熵率 83
4.3 渐近均分性 87
4.3.1 典型集 87
4.3.2 信源编码定理 89
本章小结 93
习题 93
第5章 数据纠错 95
5.1 基本概念 96
5.1.1 离散信道模型 96
5.1.2 典型信道 100
5.1.3 信道扩展 102
5.2 信道纠错 105
5.2.1 译码准则 105
5.2.2 错误概率估计 108
5.2.3 分组码 110
5.3 线性分组码 113
5.3.1 码字距离 113
5.3.2 纠错能力 115
5.3.3 Hamming码 117
本章小结 120
习题 120
第6章 离散信道 122
6.1 基本概念 123
6.1.1 互信息 123
6.1.2 特殊信道的容量 127
6.1.3 一般信道的容量 131
6.2 数据处理 134
6.2.1 码率 134
6.2.2 数据处理不等式 136
6.2.3 信源信道定理 139
6.3 信道编码 142
6.3.1 联合典型集 142
6.3.2 信道编码定理 143
6.3.3 信道编码逆定理 145
本章小结 147
习题 147
第7章 数据保密 149
7.1 信息的保密传输 150
7.1.1 密码学简介 150
7.1.2 保密系统模型 152
7.1.3 几种典型的密码体制 153
7.2 密码体制的信息论分析 156
7.2.1 完全保密性 156
7.2.2 唯一解距离 158
本章小结 161
习题 161
第8章 算法信息论与通用信源编码 162
8.1 基本概念 163
8.1.1 统计编码 163
8.1.2 自适应编码 165
8.2 描述复杂性 169
8.2.1 Kolmogorov复杂度 169
8.2.2 通用概率 171
8.3 通用信源编码 174
8.3.1 算术编码 174
8.3.2 字典方法 179
本章小结 183
习题 183
第9章 微分熵与最大熵原理 185
9.1 基本概念 186
9.1.1 微分熵 186
9.1.2 信息不等式 188
9.2 信息量最大化 189
9.2.1 最大熵问题 189
9.2.2 最大熵分布 191
本章小结 192
习题 192
信息论实验 193
参考文献 196