目录 1
第一章 绪论 1
第二章 熵和互信息 5
§2.1离散信源的熵和信息量 5
2.1.1事件的互信息 6
2.1.2条件互信息和联合事件的互信息 7
2.1.3事件的自信息 8
2.1.4离散随机变量的平均自信息熵 9
2.1.5熵的性质 11
2.1.6随机变量的相对熵和平均互信息 14
2.1.7马尔可夫链和数据处理定理 15
§2.2连续随机变量的互信息和微分熵 17
2.2.1连续随机变量的互信息 17
2.2.2连续随机变量的熵——微分熵 18
2.2.3微分熵的极大化 20
2.3.1凸函数的概念和性质 22
§2.3凸函数和互信息的凸性 22
2.3.2KuhnTucker条件 24
2.3.3互信息的凸性 26
§2.4平稳离散信源 28
2.4.1平稳离散信源一般概念 28
2.4.2平稳信源的熵 29
2.4.3马尔可夫信源 33
§2.5随机过程的信息量和熵 36
习题 38
第三章 离散信源的无错编码 44
§3.1AEP性质和离散无记忆源（DMS）的等长编码 44
3.1.1AEP性质 44
3.1.2离散无记忆源的等长编码 49
§3.2离散无记忆源（DMS）的不等长编码 52
3.2.1Kraft不等式 53
3.2.2不等长编码定理 56
3.2.3最佳不等长编码（Huffman编码） 58
3.2.4其他不等长编码方法 62
3.2.5Shannon编码的竞争最佳性（Compctitiveoptimality） 67
§3.3平稳信源和马尔可夫信源的编码定理 69
3.3.1平稳信源的编码 69
3.3.2马尔可夫信源的编码 72
习题 76
第四章 离散无记忆信道（DMC）的容量和编码定理 80
§4.1离散无记忆信道（DMC）及其容量 80
4.1.1信道容量的定义和例子 81
4.1.2离散无记忆信道（DMC）的容量定理 85
4.1.3对称离散无记忆信道容量的计算 86
4.1.4转移概率矩阵可逆信道的容量计算 91
4.1.5离散无记忆信道（DMC）容量的迭代计算 92
§4.2信道的组合 98
4.2.1积信道（平行组合信道） 99
4.2.2和信道 101
4.2.3级联信道 103
§4.3离散无记忆信道（DMC）的编码定理 103
4.3.1几个有关定义 104
4.3.2联合典型列对 105
4.3.3信道编码定理 107
4.3.4Fano不等式和逆编码定理 111
4.3.5具有反馈的离散无记忆信道的容量 113
4.3.6信源——信道联合编码 115
习题 117
第五章 高斯信道 123
§5.1高斯信道概念 124
5.1.1高斯信道的容量 124
5.1.2高斯信道编码定理 125
5.1.3高斯信道编码定理之逆 128
§5.2带限信道 130
§5.3平行高斯信道 131
§5.4有色高斯噪声信道 134
§5.5具有无噪反馈的高斯信道 137
5.5.1无记忆高斯信道上无噪反馈通信 137
5.5.2一阶自回归高斯信道上无噪反馈通信 140
习题 144
第六章 率失真理论 147
§6.1率失真函数的定义 149
§6.2简单信源的率失真函数计算 151
6.2.1贝努利信源 151
6.2.2高斯信源 154
6.2.3高斯矢量信源 156
§6.3率失真函数的性质 159
6.3.1R(D)的定义域（0,Dmax） 159
6.3.2R(D)的向下凸性 160
6.3.3R(D)是单调递减的连续函数 161
§6.4率失真函数R(D)的参数表示式 162
§6.5率失真函数的迭代计算 165
§6.6限失真信源编码定理 167
习题 172
7.1.1多元接入信道 176
7.1.2广播信道 176
§7.1多用户信息传输系统模型 176
第七章 多用户信息论 176
7.1.3串扰信道 177
7.1.4中继信道 178
7.1.5相关信源的编码和译码 178
§7.2推广的联合典型序列及联合AEP性质 179
§7.3多接入信道 183
§7.4广播信道 191
7.4.1广播信道的定义 192
7.4.2退化的广播信道 193
§7.5相关信源的源编码 198
习题 203
第八章 密码学理论 206
§8.1古典密码学 206
8.1.1古典密码的例子 207
8.1.2古典密码的破译 208
§8.2基于信息论的密码学理论 209
8.2.1密码系统理论安全性测度 211
8.2.2密码系统的实用安全性 215
8.3.1DES系统加密、解密运算的基本步骤 216
§8.3DES系统 216
8.3.2DES系统中密钥的选取 221
§8.4公开钥密码系统 224
§8.5确证系统、数字签名和密钥分配、管理 229
8.5.1确证系统 230
8.5.2数字签名 230
8.5.3密钥的管理与分配 231
§9.1最大熵分布 233
第九章 最大信息原则和最大熵谱估计 233
§9.2最大熵谱估计 238
9.2.1高斯过程的熵率 239
9.2.2Burg定理 239
§9.3自回归高斯模型的定阶准则 242
9.3.1Akike的信息量准则AIC[22] 242
9.3.2Rissanen的最小描述长度准则MDL[41] 247
第十章 类型理论及其应用 252
§10.1类型理论 252
§10.2大偏离理论 258
§10.3通用信源编码与Z-L算法 262
10.3.1通用信源编码 262
10.3.2Z—L算法[8][49] 264
§10.4假设检验 265
10.4.1Neyman—Pearson准则 265
10.4.2Bayesian准则 269
第十一章 Kolmogorov复杂性理论 271
11.1.1计算模型——Turing机 272
§11.1计算的模型和Kolmogorov复杂性定义 272
11.1.2Kolmogorov复杂性定义 273
11.1.3字符串复杂性的例子 277
11.1.4整数的Kolmogorov复杂性 279
§11.2Kolmogorov复杂性和Shannon熵 280
§11.3Kolmogorov复杂性和通用概率 283
§11.4停机问题、K(x)的不可计算性和魔数“Ω” 288
11.4.1停机问题和K(x)的不可计算性 288
11.4.2魔数“Ω” 289
参考文献 292