信息理论与编码基础PDF电子书下载

第1章 绪论 1

1.1通信系统的基本单元 1

1.2信息科学的有关概念 2

1.2.1信息的特征 2

1.2.2信息理论要解决的基本问题 3

1.2.3信息论的创始人 4

1.2.4信息科学的定义及迅速发展的背景 4

1.2.5信息理论的研究内容 4

1.3香农信息论梗概 5

思考题 6

第2章 信息的度量 7

2.1度量信息的基本思路 7

2.1.1单符号离散信源 7

2.1.2自信息量 7

2.2信源熵和条件熵 9

2.2.1信源熵 9

2.2.2条件自信息量 10

2.2.3条件熵 11

2.3互信息量和平均互信息量 11

2.3.1互信息量 11

2.3.2互信息量的性质 12

2.3.3条件互信息量 13

2.3.4平均互信息量 14

2.3.5平均互信息量的性质 14

2.3.6平均互信息量的物理意义 16

2.4多维随机变量的熵 18

2.4.1熵的链接准则 18

2.4.2信息链接准则 18

2.4.3熵的界 19

2.4.4数据处理不等式 19

本章小结 20

思考题 21

习题 21

第3章 离散信源及其信源编码 23

3.1信源分类 23

3.1.1信源分类方法 23

3.1.2自然语信源 24

3.1.3马尔可夫信源 26

3.2离散信源的熵 28

3.2.1发出单符号消息离散无记忆信源的熵 28

3.2.2发出符号序列消息离散无记忆信源的熵 29

3.2.3发出符号序列消息的离散有记忆信源的熵 30

3.2.4发出符号序列消息的马尔可夫信源的熵 32

3.2.5各种离散信源的时间熵 32

3.3信源的冗余度 34

3.3.1最大信源熵 35

3.3.2信源的冗余度 35

3.4信源编码及其描述 37

3.4.1信源编码模型 37

3.4.2编码效率 38

3.5单义可译定理 41

3.5.1单义可译码 41

3.5.2即时码的构造 42

3.5.3单义可译定理 42

3.5.4平均码长界定定理 44

3.6香农第一定理 46

3.6.1无失真信源编码 46

3.6.2等长码的信源编码 48

3.7信源编码实例 49

3.7.1费诺编码方法 49

3.7.2霍夫曼编码方法 51

3.7.3 Lempel-Ziv编码 53

本章小结 56

思考题 56

习题 56

第4章 离散信道及其信道编码 60

4.1信道的分类 60

4.2离散信道的传输特性 61

4.2.1无扰离散信道的传输特性 61

4.2.2有扰离散信道的传输特性 62

4.2.3几种特殊的有扰离散信道 64

4.2.4消息在有扰离散信道上的信息传输速率 66

4.2.5有扰离散信道的信道容量 66

4.3译码准则 72

4.3.1常用的译码准则 73

4.3.2关于译码准则的讨论 75

4.4香农第二定理 76

4.4.1信道编码与平均错误译码概率 76

4.4.2汉明距离与编码原则 77

4.4.3有扰离散信道的信道编码定理 78

本章小结 79

思考题 80

习题 80

第5章 连续消息和连续信道 83

5.1连续消息的信息度量 83

5.1.1基本思路 83

5.1.2几种连续信源的相对熵 85

5.1.3条件熵 89

5.1.4平均互信息量 90

5.1.5连续消息熵的性质 92

5.1.6最大相对熵定理 92

5.1.7熵功率和熵功率不等式 95

5.2连续消息在信道上的传输问题 97

5.3香农信道容量公式 98

5.3.1高斯信道的信道容量 98

5.3.2带限信道的信道容量 99

5.3.3香农公式的含义 100

本章小结 101

思考题 101

习题 102

第6章 限失真信源编码 104

6.1失真函数和平均失真度 104

6.1.1失真函数 104

6.1.2平均失真度 107

6.2信息率失真函数 109

6.2.1保真度准则 109

6.2.2失真许可的试验信道 110

6.2.3信息率失真函数及其性质 110

6.2.4几种典型信源的信息率失真函数 113

6.3保真度准则下的信源编码定理 116

本章小结 117

思考题 118

习题 118

第7章 差错控制的基本概念 120

7.1差错控制系统的分类 120

7.1.1自动请求重传系统 120

7.1.2前向纠错系统 122

7.1.3信息重复查询系统和混合纠错系统 123

7.2纠错编码的分类及其性能评价 124

7.2.1纠错编码的分类 124

7.2.2纠错码的基本概念 125

7.2.3纠错编码方法的性能评价 128

本章小结 130

思考题 130

习题 131

第8章 线性分组码 132

8.1有关概念 132

8.1.1线性分组码的定义及其性质 132

8.2线性分组码的编码和译码 135

8.2.1线性分组码的编码 135

8.2.2线性分组码译码 136

8.2.3线性分组码举例 141

8.3循环码的描述 141

8.3.1循环码的定义 142

8.3.2循环码的性质 143

8.3.3生成矩阵和一致校验矩阵 147

8.4循环码的编码和译码 148

8.4.1循环码的编码 148

8.4.2循环码的译码 150

8.4.3循环码的检错能力 152

8.4.4循环码的缩短与扩展 153

8.5二元BCH码 154

8.5.1 BCH码的描述 154

8.5.2 BCH码的编码和译码 157

8.6多元BCH码和R-S码 159

8.7纠突发错误码 160

8.7.1纠突发错误码的定义及基本性质 160

8.7.2交织码 161

本章小结 163

思考题 164

习题 165

第9章 卷积码 168

9.1卷积码的编码及其描述 168

9.1.1卷积码的编码 168

9.1.2卷积码的描述 170

9.2卷积码的最大似然译码 178

9.2.1 Viterbi译码 178

9.2.2序列译码 180

9.3卷积码的性能评估 186

9.3.1译码的错误扩展及恶性卷积码 186

9.3.2卷积码的自由距离 187

本章小结 189

思考题 189

习题 189

第10章 信道编码新进展简介 192

10.1 Turbo码 192

10.1.1 Turbo码的编码及其性能 192

10.1.2 Turbo码的译码简介 194

10.2空时分组码 195

10.2.1正交空时分组码 195

10.2.2正交空时分组码的译码 197

10.2.3准正交空时分组码 197

10.2.4准正交空时分组码的译码 198

10.3低密度奇偶校验码 199

10.3.1低密度奇偶校验码的定义 199

10.3.2低密度奇偶校验码的译码 200

10.4网络编码与协作 205

10.4.1网络编码 205

10.4.2网络编码协作 207

本章小结 208

思考题 208

习题 209

参考文献 210

索引 213