基础信息论PDF电子书下载

第1章 概论 1

1.1 信息论的概念 1

1.2 信息的分类 5

1.3 信息论研究的目的和范畴 5

1.3.1 通信系统的基本模型 5

1.3.2 信息论研究的目的 8

1.3.3 信息论研究的范畴 8

第2章 基本信息论 12

2.1 信源及信源的不确定性 12

2.1.1 不确定性的概念 12

2.1.2 信源不确定度的定义 15

2.1.3 信息度量 16

2.1.4 离散信源的熵 23

2.1.5 熵函数H（X）的性质 27

2.1.6 加权熵的概念 30

2.2 平均互信息量 31

2.2.1 平均互信息量的定义 32

2.2.2 平均互信息量的物理意义 33

2.2.3 平均互信息量的性质 37

2.3 二元联合信源的联合熵（共熵）与条件熵 39

2.3.1 共熵 40

2.3.2 条件熵 41

2.3.3 离散平稳信源的信源熵和极限熵 45

2.4 马尔可夫信源 48

2.5 信源冗余度 54

2.5.1 冗余度的定义 55

2.5.2 冗余的利用 58

2.6 连续信源的熵 59

2.6.1 三种特定连续信源的最大熵 64

2.6.2 熵功率 70

2.7 熵速率和信道容量 71

2.7.1 信源熵速率 71

2.7.2 信道容量的概念 72

2.7.3 离散有噪声信道中的熵速率和信道容量 74

2.7.4 可疑度的物理解释 77

2.7.5 连续有噪信道的熵速率 81

2.7.6 连续有噪信道的信道容量 82

2.8 多用户信道 84

2.8.1 多址接入信道 85

2.8.2 广播信道 91

2.8.3 相关信源的多用户信道 93

2.9 信源编码 95

2.9.1 等长编码定理 96

2.9.2 变长编码 98

2.9.3 信源优化的方法及编码原理 99

2.9.4 非续长代码的构成方法 104

2.10 常用信源编码 105

2.10.1 山农－费诺编码 106

2.10.2 哈夫曼编码 107

2.10.3 冗余位编码 109

第3章 理想通信系统及其分析方法 118

3.1 多维空间及信号的多维模型 118

3.1.1 高维球的体积及其特点 119

3.1.2 理想通信系统的最大传信率和错误概率 121

3.1.3 编码定理的证明 122

3.2 理想通信系统的信噪比，带宽和时间的互换 126

3.3 理想通信系统的实现方法 130

3.4 理想接收机 132

3.4.1 相关接收机模型 133

3.4.2 匹配滤波器 136

3.5 伪噪声编码通信 137

3.5.1 等长二元码的相关系数 138

3.5.2 等长二元码的自相关运算 138

3.6 狭义伪噪声码举例 139

3.6.1 L序列码 139

3.6.2 m序列码 140

3.6.3 二元正交码 143

3.7 伪噪声编码通信的原理 144

第4章 抗干扰二元编码原理及方法 150

4.1 抗干扰编码的基本原理 150

4.1.1 编码和纠错能力的关系 150

4.1.2 抗干扰编码的基本原理 153

4.2 构造检错码的基本方法 156

4.2.1 奇偶校验码 156

4.2.2 定比码 158

4.2.3 ARQ系统 160

4.3 构造纠错码的基本方法 161

4.3.1 简单重复码 162

4.3.2 纠正一位错误的汉明码 162

4.3.3 循环码 169

4.4 编译码方法 178

4.4.1 多项式除法电路 178

4.4.2 循环码译码电路 183

4.5 卷积码 184

4.5.1 卷积码编码器原理 184

4.5.2 卷积码的生成矩阵 188

4.5.3 卷积码编码器 190

4.5.4 卷积码的译码方法 193

4.5.5 序列译码 194

4.6 纠正突发错误的编码 199

4.6.1 纠正突发错误的必要性 199

4.6.2 分组交织法 199

4.6.3 哈格尔伯格码 200

第5章 信息论与保密学 204

5.1 保密系统的数学模型 205

5.2 古典密码体制 208

5.2.1 单表密码 208

5.2.2 移位代换密码（加法密码） 209

5.2.3 乘数密码 209

5.2.4 固定周期位移置换 210

5.2.5 多表代换密码 211

5.3 完全保密性 212

5.4 理论保密性 219

5.5 实际保密性 224

第6章 信息率失真函数 227

6.1 概述 227

6.1.1 信息率失真函数及平均失真度 228

6.1.2 信息率失真函数的定义 233

6.1.3 信息率失真函数的性质 235

6.2 离散信源的信息率失真函数 243

6.2.1 离散信源的信息率失真函数的参量表达式 243

6.2.2 二元离散等概率信源的信息率失真函数 248

6.3 连续信源的信息率失真函数 258

6.3.1 连续信源的信息率失真函数的参量表达式 258

6.3.2 高斯连续信源的信息率失真函数 260

参考文献 268