信息论基础PDF电子书下载

目录 1

第一章 绪论 1

§1.1 信息基本概念 1

§1.2 信息论内容简介 3

§1.3 通信系统模型 4

§1.4 信息论发展简史 7

第二章 信源和信息熵 11

§2.1 信源特性和分类 11

§2.2 离散信源的信息熵 15

§2.3 熵函数的数学特性 24

§2.4 熵函数公理的构成 33

§2.5 离散随机变量之间的互信息 37

§2.6 信息不增性原理 53

§2.7 平稳离散信源 55

§2.8 马尔柯夫信源 62

§2.9 连续随机变量的熵和互信息 70

§2.10 随机过程的信息量与熵 82

习题 84

第三章 信道与信道容量 91

§3.1 信道分类 91

§3.2 离散无记忆信道的信道容量 94

§3.3 信道的组合 109

§3.4 时间离散的无记忆连续信道 112

§3.5 波形信道 118

习题 121

第四章 率失真函数 125

§4.1 率失真函数的定义 125

§4.2 率失真函数R（D）的性质 128

§4.3 率失真函数R（D）的参数表达式 134

§4.4 率失真函数的迭代计算 140

§4.5 连续信源的率失真函数 145

§4.6 R（D）上、下限估计 151

习题 158

第五章 离散信源的无失真编码定理 162

§5.1 编码器 162

§5.2 离散无记忆信源的等长编码 163

§5.3 离散无记忆信源的不等长编码 169

§5.4 不等长码的编码方法 178

§5.5 平稳信源和马尔可夫信源的编码定理 184

习题 190

第六章 信道编码定理 194

§6.1 离散信道编码问题 194

§6.2 联合典型序列及信道编码定理 196

§6.3 错误概率的上界 201

§6.4 编码的逆定理 220

§6.5 改进的错误概率上界 225

§6.6 错误概率的下界 232

§6.7 错误概率下界的改善 238

§6.8 连续信道编码定理 242

习题 256

第七章 限失真信源编码定理 261

§7.1 限失真离散无记忆信源编码定理 261

§7.2 连续无记忆信源限失真编码定理 267

习题 270

附录A 卡休宁-勒维展开 271

附录B 凸函数及其性质 274

附录C 有用的几个不等式 280

附录D 以2为底的对数表 283