第1章 概论 1
1．1 信息理论的基本内容 1
1．2 信息理论的发展简史 4
1．3 控制论、信息论与系统论 8
1．4 信息理论的应用 11
第2章 信息与熵 16
2．1 信源熵 16
2．2 联合熵与条件熵 22
2．3 熵函数的惟一性 27
2．4 熵函数的性质 31
2．5 连续型随机变量的熵 36
习题 41
第3章 互信息 43
3．1 平均互信息 43
3．1．1 事件的互信息 43
3．1．2 多随机变量下条件互信息与联合事件的互信息 45
3．1．3 平均互信息 46
3．2 互信息与其他熵之间的关系 46
3．2．1 互信息的等价定义 46
3．2．2 熵之间的关系 48
3．3 多个随机变量的互信息 48
3.3.1 两组随机变量之间的互信息 49
3.3.2 条件互信息 49
3.3.3 随机向量中各随机变量之间的互信息 50
3.4 互信息函数的性质 51
3.5 连续型随机变量的互信息 53
习题 54
第4章 离散信源的无错编码 57
4.1 信源与信源编码简介 57
4.1.1 信源 57
4.1.2 信源的分类 58
4.1.3 信源编码 59
4.2 无记忆信源的渐近等同分割性与定长编码定理 61
4.2.1 渐近等同分割性(AEP) 61
4.2.2 定长编码定理 64
4.3 离散无记忆信源的变长编码 66
4.3.1 前缀码与Kraft不等式 67
4.3.2 Huffman编码与最优编码定理 74
4.3.3 常用变长编码 81
4.4 离散平稳信源及其编码定理 84
4.4.1 平稳信源的熵率及冗余度 85
4.4.2 平稳信源的编码定理 88
4.5 马尔可夫信源及其编码 90
4.5.1 马尔可夫信源 90
4.5.2 马尔可夫信源的编码 93
习题 96
第5章 离散无记忆信道的编码理论 100
5.1 信道容量 100
5.1.1 信道容量的定义和例子 101
5.1.2 离散无记忆信道容量的有关性质 104
5.1.3 某些简单情况下信道容量的计算 109
5.1.4 转移概率可逆时信道容量的计算 114
5.1.5 离散无记忆信道容量的迭代计算 115
5.1.6 达到信道量时输入输出字母概率分布的惟一性 120
5.2 信道编码 123
5.2.1 信道编码概述 124
5.2.2 联合典型序列 130
5.3 信道编码定理 132
5.3.1 信道编码定理的证明 133
5.3.2 Fano不等式和逆编码定理 135
5.3.3 信源-信道联合编码 139
5.4 高斯信道 141
5.4.1高斯信道容量 142
5.4.2高斯信道编码定理 143
5.4.3高斯信道编码定理的逆定理 144
5.5 信道编码实例 146
5.5.1 重复码 146
5.5.2 Hamming码 148
习题 150
第6章 线性码 154
6.1 线性分组码的定义及表示 154
6.2 系统编码和校验矩阵 156
6.3 系统编码及其最优译码的实现 161
6.4 线性码的差错概率及纠错能力 165
第7章 信源的率失真函数与熵压缩编码 174
7.1 熵压缩编码和信源的率失真函数 174
7.2 率失真函数的基本性质 177
7.3 对离散信源求解率失真函数的迭代算法 182
7.4 连续无记忆信源的信息失真函数 185
7.4.1 基本性质 185
7.4.2 差值失真度量下率失真函数的下界 188
7.4.3 差方失真度量下的率失真函数 191
7.5 标量量化 197
7.6 限失真信源编码定理 199
习题 205
第8章 最大熵原理与最小鉴别信息原理 207
8.1 最大熵原理 207
8.1.1 最大熵原理的提出 207
8.1.2 最大熵原理的合理性 209
8.1.3 最大熵谱估计 213
8.2 鉴别信息 215
8.2.1 鉴别信息的定义 215
8.2.2 鉴别信息的性质 218
8.3 最小鉴别信息原理 222
8.3.1 最小鉴别信息原理 223
8.3.2 独立分量分析 224
习题 225
第9章 组合信息与算法信息 227
9.1 自适应统计编码 227
9.2 组合信息 230
9.2.1 基于组合的信息度量 230
9.2.2 Fitingof通用编码 232
9.3 算法信息 235
9.3.1 Kolmogorov算法熵 237
9.3.2 算法熵的不可计算性 241
9.3.3 Lewpel-Ziv通用编码 243
习题 244
第10章 密码学引论 245
10.1 古典密码学 245
10.1.1 古典密码举例 246
10.1.2 古典密码分析 248
10.2 基于信息论的密码学 250
10.2.1 完全保密 251
10.2.2 惟一解距离 255
10.2.3 实用安全性 258
10.3 数据加密标准(DES) 259
10.3.1 DES的描述 259
10.3.2 DES的讨论 266
10.4 其他 267
10.4.1 公开钥密码系统 267
10.4.2 认证系统 267
10.4.3 数字签名 268
10.4.4 密钥的管理 269
10.4.5 电子货币 269
参考文献 271