1 信息论概述 1
1.1 信息的基本概念与特征 1
1.2 信息论的产生与发展 4
1.3 信息论研究的主要内容及方法 8
1.4 香农信息论 9
习题 12
2 信息的度量 13
2.1 离散变量的自信息量 13
2.2 离散变量的互信息量 17
2.3 离散变量集的平均自信息量 21
2.4 离散变量集的平均互信息量 33
2.5 连续随机变量的信息度量 39
习题 42
3 离散信源及其度量 45
3.1 离散信源的描述与分类 45
3.2 离散无记忆信源 46
3.3 离散无记忆扩展信源 49
3.4 离散有记忆平稳信源 52
3.5 马尔科夫信源 55
3.6 信源的剩余度 59
习题 61
4 连续信源及其度量 64
4.1 连续信源的描述与分类 64
4.2 单维连续信源 65
4.3 连续信源的最大熵定理 74
4.4 熵功率 78
习题 79
5 信道与信道容量 81
5.1 信道的描述及分类 81
5.2 离散无记忆单符号信道及其容量 83
5.3 离散无记忆多符号信道及其容量 95
5.4 组合信道及其容量 97
5.5 多用户信道 101
5.6 连续信道及其容量 106
5.7 波形信道及其容量 112
5.8 信源与信道匹配 115
习题 115
6 信源编码 118
6.1 信源编码的基本概念 119
6.2 信源的编码性能 122
6.3 无失真信源编码定理 123
6.4 无失真信源编码基本方法 133
6.5 限失真信源编码 160
习题 183
7 信道编码 187
7.1 信道编码的基本概念 187
7.2 信道编码的基本思想 190
7.3 信道编码定理 194
7.4 常用检错码 201
7.5 几种重要的纠错码 203
习题 240
8 密码学基础 242
8.1 密码学的基本概念 242
8.2 保密通信系统的数学模型 243
8.3 古典密码体制的基本类型 244
8.4 现代密码体制 249
8.5 密码体制的安全性 259
8.6 密码技术的应用 260
习题 264
9 信息理论与编码的应用 266
9.1 信息论在多媒体通信中的应用 266
9.2 信息熵在热力学中的应用 272
9.3 信息论在生命科学中的应用 275
9.4 信息论在经济学中的应用 278
9.5 信息论在哲学中的应用 279
参考文献 283