信息论理论基础 第3版PDF电子书下载

第一章 引论 1

1.1 通信系统基本模型 1

1.1.1 通信基本模型 1

1.1.2 对通信的基本要求 4

1.1.3 通信理论的研究方法 5

1.2 信息论的研究范畴 5

1.2.1 信息论的研究内容 5

1.2.2 信息论的发展简史 8

第二章 基本信息论 10

2.1 信息度量 10

2.1.1 研究信息度量的必要性 10

2.1.2 信源的不肯定性 10

2.1.3 信息量 15

2.2 离散信源的熵 20

2.2.1 定义 20

2.2.2 离散信源提供的平均信息量——熵 20

2.2.3 熵函数H（x）的性质 23

2.3 二元联合信源的共熵与条件熵 24

2.3.1 二元联合信源的共熵 24

2.3.2 条件熵 26

2.3.3 H（x，y）≤H（x）＋H（y）的证明 27

2.3.4 消息的剩余度 35

2.4 连续信源的熵 39

2.4.1 连续信源熵的定义 39

2.4.2 连续信源的最大熵 42

2.4.3 熵功率 48

2.4.4 二元联合信源的共熵 49

2.5 熵速率和信道容量 50

2.5.1 信源熵速率 50

2.5.2 信道容量 51

2.6 离散有噪信道中的熵速率和信道容量 53

2.6.1 接收熵速率 53

2.6.2 可疑度 57

2.6.3 信道容量 60

2.7 连续有噪信道的熵速率与信道容量 60

2.7.1 接收熵速率 60

2.7.2 信道容量 62

2.8 使信源与信道匹配的编码 63

2.8.1 编码定理 63

2.8.2 信源最佳化 65

2.8.3 符号独立化 66

2.8.4 概率均匀化——最佳编码 69

习题 81

第三章 理想通信系统 86

3.1 多维空间 86

3.1.1 物体的多维空间模型 86

3.1.2 多维空间的两个重要公式 87

3.2 通信系统的多维模型 89

3.2.1 信号的多维模型 89

3.2.2 信号平均功率p与多维模型中原点到信号点距离d的关系 90

3.2.3 所有高维球的体积都集中在它的表面上 91

3.3 理想通信系统的最大传信率和错误概率 92

3.3.1 理想通信系统 92

3.3.2 编码定理的证明 93

3.4 理想通信系统的信噪比、带宽和时间的互换 96

3.4.1 互换关系式 96

3.4.2 信噪比改善与信道对消息带宽比的关系 97

3.4.3 信道临界带宽 99

3.5 理想通信系统的实现方法 101

3.5.1 理想通信系统模型 101

3.5.2 现实系统的潜力 102

3.6 理想接收机 104

3.6.1 相关接收机 104

3.6.2 匹配滤波器 107

3.7 伪噪声编码通信 109

3.7.1 引言 109

3.7.2 伪噪声编码信号 110

3.7.3 伪噪声编码通信的基本原理 126

3.8 扩频通信 130

3.8.1 引言 130

3.8.2 扩频系统的基本原理 130

习题 133

第四章 抗干扰二元编码 135

4.1 抗干扰编码的基本概念 135

4.1.1 抗干扰编码基本思想 135

4.1.2 几个定义 137

4.1.3 码距dmin与纠错能力的关系 138

4.1.4 抗干扰编码的基本原理 139

4.2 检错码 142

4.2.1 一致监督检错码 142

4.2.2 定比码 145

4.2.3 ARQ系统 149

4.3 用于单向信道的简单纠错码 151

4.3.1 简单重复码 151

4.3.2 正反码 152

4.4 纠一位错误的汉明码 155

4.4.1 编码原理和监督矩阵 155

4.4.2 译码和检验矩阵 157

4.4.3 汉明码举例 159

4.4.4 汉明码的错误概率 164

4.4.5 汉明码效率 165

4.4.6 增余汉明码 165

4.4.7 生成矩阵 168

4.5 循环码 172

4.5.1 定义 172

4.5.2 生成多项式 172

4.5.3 校验子 177

4.5.4 编译码方法 179

4.5.5 截短循环码 186

4.5.6 BCH码 188

4.6 纠正独立错误的卷积码 195

4.6.1 卷积码的基本监督矩阵 195

4.6.2 卷积码的一致监督矩阵 198

4.6.3 卷积码的生成矩阵 202

4.6.4 卷积码的编码方法 205

4.6.5 卷积码的译码方法 208

4.6.6 序列译码 209

4.6.7 维特比译码 215

4.7 纠正突发错误的编码 216

4.7.1 纠正突发错误的必要性 216

4.7.2 交织法 217

4.7.3 纠正突发错误的卷积码 218

4.8 有限域的基本知识 221

4.8.1 有限域的基本概念 221

4.8.2 有限域举例 223

4.8.3 有限域的乘法群 225

4.8.4 多项式域GF（2n）中元素间关系 226

4.8.5 一个有关多项式的定理 229

4.8.6 最小多项式（或称极小多项式） 230

习题 233

第五章 信号的统计检测与参量估计 236

5.1 基本检测理论 236

5.1.1 假设检验 237

5.1.2 最佳检测的基本原理 239

5.2 贝叶斯检测准则 245

5.3 最大后验概率检测准则 246

5.4 最大似然检测准则 247

5.5 奈曼——皮尔逊准则 247

5.6 极小极大检测准则 247

5.7 高斯噪声信道的最佳检测器 251

5.8 连续参量的估计 252

5.9 贝叶斯估计 255

5.10 其它估计算子 257

5.10.1 最大似然估计 257

5.10.2 条件最大似然估计 258

习题 258

第六章 信息率失真函数与多用户信道 260

6.1 信息率失真函数 260

6.1.1 信息率失真函数的一般概念 260

6.1.2 R（D）函数的性质 266

6.2 离散信源的R（D）函数的计算 270

6.2.1 R（D）的参量表达式 271

6.2.2 二元信源的R（D）函数 274

6.2.3 对称信源的R（D）函数 279

6.2.4 R（D）函数的计算方法 280

6.3 连续信源的R（D）函数 283

6.3.1 定义和一般公式 283

6.3.2 d（x，y）只与（x，y）有关的情况 286

6.4 信息价值 291

6.5 通信系统性能指标的界 294

6.6 一般化信息函数和信息率失真函数 297

6.7 多用户信道 302

6.7.1 多用户信道的信道容量 303

6.7.2 多用户信道的编码定理 312

主要参考文献 313

附录1 315

附录2 316

附录3 317