信息论与编码理论PDF电子书下载

第1章 绪论 1

1.1 通信系统模型 1

1.2　信息论与编码理论的主要内容 2

1.3　信息论与编码理论的形成与发展 3

1.4　信息论与编码理论的应用 5

第2章　信息与信息的度量 7

2.1 信源的数学模型及分类 7

2.1.1 信源输出的消息由随机变量描述 7

2.1.2　信源输出的消息由随机矢量描述 8

2.2 离散信源的信息熵 9

2.2.1　随机事件的自信息 10

2.2.2　离散信源的熵 14

2.2.3　熵的基本性质 23

2.2.4　数据处理中信息的变化 29

2.3 离散信源序列的熵 30

2.3.1　无记忆信源序列的熵 31

2.3.2　有记忆信源序列的熵 33

2.4　连续信源的互信息和微分熵 41

2.4.1　连续信源的数学模型 41

2.4.2　连续信源的微分熵与互信息 43

2.4.3　波形信源的微分熵 48

2.4.4　微分熵的极值化 50

2.5　信源的冗余度 53

习题2 55

第3章　信道容量 58

3.1　信道基本概念 58

3.1.1 信道分类 58

3.1.2　信道模型 59

3.1.3　几种无记忆信道 60

3.2 离散无记忆信道容量 62

3.2.1　信道容量的定义 63

3.2.2 DMC容量定理 64

3.2.3　对称DMC容量的计算 67

3.2.4　准对称DMC容量的计算 69

3.2.5　一般DMC容量的计算方法 71

3.3　组合信道的容量 73

3.3.1　级联信道的容量 74

3.3.2　并联信道的容量 75

3.4　连续无记忆信道的容量 76

3.4.1　加性高斯噪声信道的容量 78

3.4.2　多维无记忆加性高斯噪声信道的容量 79

3.5　波形信道的容量 81

习题3 84

第4章　无失真信源编码 87

4.1 无失真信源编码的概念 87

4.2　等长编码 90

4.3 变长编码 94

4.3.1　变长编码的唯一可译性 95

4.3.2 Kraft不等式 95

4.3.3　变长编码定理 97

4.4　常用的变长编码算法 99

4.4.1 仙农编码 99

4.4.2　费诺编码 100

4.4.3　霍夫曼编码 101

4.4.4　算术编码 106

4.4.5　游程编码 108

4.4.6　字典编码 110

4.5 无失真信源编码的应用 112

4.5.1　三类传真机的修正霍夫曼编码 113

4.5.2　静止图像的无失真编码 113

习题4 120

第5章 信息率失真函数与有失真信源编码 124

5.1 信息率失真函数 124

5.1.1 失真函数与平均失真 125

5.1.2　信息率失真函数 126

5.1.3　率失真函数的性质 127

5.2 限失真信源编码定理 131

5.3　率失真函数的计算 132

5.3.1 R（D）参量表示法求解 132

5.3.2 R（D）的迭代计算方法 134

5.4　有失真信源编码 136

5.4.1 R（D）与信息价值 136

5.4.2　数字图像压缩编码方法 140

5.4.3　数字音频信号压缩编码方法 143

习题5 144

第6章　信道编码概述 146

6.1　信道差错概率 146

6.1.1　随机差错信道 146

6.1.2　突发差错信道 147

6.2　信道编码概念 148

6.3　信道译码准则 153

6.3.1　最小错误概率译码 153

6.3.2　最大似然译码 153

6.3.3　最小汉明距离译码 156

6.4　码的检错与纠错能力 160

6.5　信道编码定理 162

习题6 165

第7章　线性分组码 166

7.1 线性分组码概念 166

7.2　线性分组码的生成矩阵 166

7.3　线性分组码的校验矩阵 170

7.4 线性分组码的最小汉明重量 171

7.5　线性分组码的译码 172

7.6 完备码 174

7.7 汉明码 175

7.8　其他线性分组码 177

7.8.1 Hadamard码 177

7.8.2 Golay码 177

习题7 177

第8章　循环码 179

8.1　循环码的基本概念 179

8.1.1　循环码的定义和基本性质 179

8.1.2　循环码的多项式描述 180

8.1.3　系统循环码 183

8.2　循环码的编码和译码 184

8.2.1　循环码的编码 184

8.2.2　循环码的译码 186

8.3　循环码的检错和纠错性能 190

8.3.1　循环码的检错性能 190

8.3.2　纠正突发错误性能 191

8.4 循环码的两个重要子类 192

8.4.1 BCH码 192

8.4.2　Reed-Solomon（RS）码 195

习题8 197

第9章　卷积码 199

9.1 卷积码的基本概念 199

9.2　卷积码的描述 202

9.2.1 卷积码的生成矩阵表示法 202

9.2.2　卷积码的多项式及转移函数矩阵表示法 205

9.2.3　卷积码的编码矩阵和状态流图 209

9.2.4　卷积码的网格图 211

9.3　卷积码的译码算法 214

9.3.1　卷积码的最大似然译码 215

9.3.2　二进制对称信道的硬判决维特比译码 216

9.3.3　软判决的维特比译码 223

9.3.4　维特比译码的性能限 227

9.4　卷积码的应用 229

习题9 231

第10章　Turbo码 234

10.1 Turbo编码 235

10.1.1　递归卷积编码特性 237

10.1.2　交织特性 239

10.1.3　删余与分组归零处理 243

10.2 Turbo译码 245

10.2.1　迭代译码机制概述 245

10.2.2　基于MAP算法的SISO译码器 248

10.2.3　基于Log-MAP算法的SISO译码器 252

10.2.4　Turbo码迭代译码算法 254

10.3 Turbo码性能 257

10.4　小结 260

习题10 261

参考文献 263