信息论与编码理论PDF电子书下载

目录 1

引言 1

0.1　信息的概念 1

0.2　信息论的研究对象 2

0.3　信息论对编码的指导意义 3

0.4　信息论与编码理论的形成及发展 4

第一部分　信息论 7

第1章　信源模型及信息的度量 7

1.1　信源模型及分类 7

1.1.1　单符号的离散信源 7

1.1.2　单符号的连续信源 8

1.1.3　多符号的离散信源 9

1.1.4　多符号的连续信源 10

1.2　不确定性与信息量 10

1.2.1 非平均不确定性 11

1.2.2　非平均信息量 11

1.3　平均信息量 16

1.3.1　信息熵 16

1.3.2　条件熵 18

1.3.3　联合熵 19

1.3.4　平均互信息量 20

1.3.5　各类熵之间的关系 21

1.3.6　信息熵的基本性质 24

1.4.1 消息序列信息量的一般表达式 28

1.4　消息序列的熵 28

1.4.2　离散无记忆的扩展信源 30

1.4.3　离散平稳信源 31

1.5　连续信源和波形信源的信息度量 39

1.5.1　连续信源的差熵 39

1.5.2　波形信源的差熵 44

1.6　信源的相关性和剩余度 45

1.7　习题 47

2.1 信道的数学模型和分类 50

2.1.1　信道的分类 50

第2章　信道模型及信道容量 50

2.1.2　离散信道的数学模型 51

2.1.3　连续／波形信道的数学模型 52

2.1.4　单符号离散信道的数学模型 54

2.2　信道传输的平均互信息 56

2.2.1　损失熵和噪声熵 57

2.2.2　平均互信息 58

2.2.3　平均条件互信息 58

2.2.4　平均互信息的特性 62

2.3　离散信道的信道容量 68

2.3.1　信道容量的定义 68

2.3.2　简单离散信道的信道容量 69

2.3.3　对称离散信道的信道容量 71

2.3.4　一般离散信道的信道容量 75

2.4　连续／波形信道的信道容量 83

2.4.1　连续信道的信道容量 83

2.4.2　波形信道的信道容量 84

2.5　信道的组合 85

2.5.1 串联信道及其信道容量 85

2.5.2　并联信道及其信道容量 89

2.6　信源与信道的匹配 91

2.7　习题 92

3.1　编码器 95

第3章　无失真信源编码 95

3.2　离散无记忆信源的等长编码 99

3.3　离散无记忆信源的变长编码 102

3.3.1　码的分类和主要编码方法 102

3.3.2　克拉夫特不等式和麦克米伦不等式 103

3.3.3　惟一可译码判断准则 108

3.4　变长编码定理 109

3.4.1　码的平均长度 109

3.4.2　变长无失真信源编码定理 112

3.5　变长编码方法 116

3.5.1　香农编码方法 116

3.5.2　费诺编码 118

3.5.3　霍夫曼编码 120

3.6　习题 126

第4章　有噪信道编码 129

4.1　错误概率和译码规则 129

4.2　两种典型的译码规则 131

4.3　错误概率与编码方法 135

4.4　汉明距离 141

4.5　有噪信道编码定理 144

4.6　习题 146

第5章　限失真信源编码 148

5.1 失真测度 148

5.1.1　失真度 149

5.1.2　平均失真度 152

5.2　信息率失真函数及其性质 153

5.2.1　D允许信道（试验信道） 153

5.2.2　信息率失真函数的定义 153

5.2.3　信息率失真函数的性质 154

5.3　信息率失真函数的参量表述及其计算 161

5.3.1 利用信源的对称性来计算信息率失真函数 161

5.3.2　信息率失真函数的参量表述 163

5.4　限失真信源编码定理 170

5.5　习题 174

6.1.2　分组码的基本概念 178

6.1.1　引言 178

第6章　线性分组码 178

6.1　分组码的基本概念 178

第二部分　编码理论 178

6.1.3　分组码相关基础知识 180

6.2　线性分组码的生成矩阵和校验矩阵 183

6.2.1　生成矩阵 183

6.2.2　校验矩阵 185

6.2.3　汉明码 186

6.3　线性分组码的纠错能力 187

6.4　线性分组码的译码 190

6.4.1　相关定义和定理 190

6.4.2　标准阵列译码法与伴随式译码法 191

6.5 由一个已知码构造新码的方法 193

6.5.1　扩展码 193

6.5.2　除删码 194

6.5.3　凿孔码 194

6.5.4　增广码（增信删余码） 194

6.5.5　增余删信码 194

6.5.6　缩短码 195

6.5.7　延长码（增信码）和RM码 195

6.6　交织编码简介 196

6.6.1　引言 196

6.6.2　交织码的基本原理 196

6.6.3　分组交织器的基本性质 197

6.6.4　交织编码的应用实例 198

6.7　线性码的重量分布与译码错误概率计算 199

6.7.1　线性码的重量分布 199

6.7.2　线性码译码错误概率计算 200

6.7.3　误码率计算 201

6.8　习题 202

第7章 循环码 204

7.1　循环码代数的基本知识 204

7.1.1　有限域的定义 204

7.1.2　域上的多项式 205

7.1.3　GF（2m）的构成 206

7.2.1　循环码的基本概念 207

7.2　循环码的定义及多项式表示 207

7.2.2　码的多项式描述 208

7.3　循环码的矩阵描述 211

7.4　系统循环码的编码方法及实现电路 213

7.4.1　循环码的编码方法 213

7.4.2　多项式运算电路 214

7.4.3　系统循环码编码的实现电路 217

7.5　系统循环码的译码方法及实现电路 220

7.5.1　接收多项式伴随式的计算 220

7.5.2　循环码的译码算法 223

7.6.1 BCH码 225

7.6　3种重要的循环码 225

7.6.2　RS码 227

7.6.3　缩短循环码 228

7.7 习题 229

第8章　卷积码 231

8.1 卷积码的基本概念 231

8.2　卷积码的描述 234

8.2.1　卷积码的矩阵和多项式描述 234

8.2.2　卷积码的树图描述 237

8.2.3　卷积码的状态图描述 238

8.3　卷积码的维特比译码算法 239

8.2.4　卷积码的篱笆图描述 239

8.3.1　最大似然译码 240

8.3.2　维特比译码的基本原理 241

8.3.3　软判决维特比译码 244

8.4　维特比译码的性能 246

8.4.1 二进制对称信道下的维特比译码的性能 247

8.4.2　高斯白噪声信道中维特比译码器输出的误码率 247

8.5　维特比译码的实用 249

8.6　习题 251

第9章　Turbo编译码与迭代译码算法 252

9.1　Turbo码编码器 252

9.1.1　递归系统卷积码（RSC码） 253

9.1.2　删余器 255

9.2　Turbo码的译码器 256

9.3　译码算法 257

9.3.1　MAP算法 259

9.3.2　MAP算法在Turbo译码中的应用 261

9.3.3　SOVA算法 262

9.3.4　性能的仿真 264

9.4　Turbo码中的交织器 265

9.5　Turbo码研究的方向 267

9.6　习题 268

10.1　分组码的Systemview实现 269

第10章　差错控制编码的实现 269

10.2　分组码在超短波通信系统中的实现 272

10.2.1　BCH编码与译码 273

10.2.2　交织编码 276

10.2.3　纠错码性能分析 278

10.3　卷积码的Systemview实现 279

10.4　卷积码的DSP实现 281

10.5　Turbo码的Matlab实现 285

10.5.1　发送端的实现 286

10.5.2　信道的模拟实现 287

10.5.3　接收端的实现 287

参考文献 288