信息论与编码PDF电子书下载

第1章 绪论 1

1.1信息 1

1.1.1信息的概念 1

1.1.2信息的性质 2

1.1.3信息科学 2

1.2通信系统 3

1.2.1通信系统模型 3

1.2.2通信系统的基本要求 4

1.3信息论 6

1.3.1信息论的发展历史 7

1.3.2信息论分类 8

第2章 信息量和信源的熵 9

2.1信源分类 9

2.2自信息量与互信息量 10

2.2.1自信息量 10

2.2.2互信息量 11

2.3平均自信息量——熵 12

2.4熵的基本性质 13

2.5熵的唯一性定理 15

2.6离散集的平均互信息量 20

2.6.1离散集的平均互信息量定义 20

2.6.2平均互信息量的性质 20

2.7马尔可夫信源 23

2.7.1马尔可夫信源 23

2.7.2马尔可夫信源的信息熵 25

2.7.3随机过程的信息量和熵 26

2.8信源的相关性和剩余度 28

2.9连续随机变量的互信息和微分熵 29

2.9.1连续随机变量的熵 30

2.9.2连续随机变量的联合熵、条件熵以及平均互信息量 32

2.10信道容量 38

2.10.1单符号离散信道的信道容量 38

2.10.2几种特殊信道的信道容量 39

2.10.3对称信道的信道容量 41

2.10.4强对称离散信道的信道容量 42

2.10.5准对称离散信道的信道容量 43

2.10.6一般离散信道的信道容量 45

习题 47

第3章 信源编码 50

3.1信源编码的相关概念 50

3.1.1无失真信源编码的分类 50

3.1.2编码器 51

3.1.3码的分类 52

3.1.4码树 53

3.2定长编码定理 55

3.2.1无失真编码条件 55

3.2.2定长编码定理 56

3.3变长码与变长信源编码定理 59

3.4变长码的编码方法 61

3.4.1香农编码 61

3.4.2霍夫曼（Huffman）编码 63

3.4.3费诺编码 68

3.5游程编码 71

3.5.1游程编码简介 71

3.5.2 MH编码原理 72

习题 73

第4章 信道及信道编码 75

4.1信道及译码规则 75

4.1.1信道的分类 75

4.1.2信道模型 76

4.1.3错误概率和译码规则 79

4.1.4错误概率与编码方法 85

4.1.5抗干扰信道编码定理及逆定理 91

4.2信道编码的基本思想 91

4.2.1差错控制系统分类 92

4.2.2纠检错基本原理 93

4.3检错码 96

4.3.1奇偶校验码 96

4.3.2行列监督码 98

4.3.3定比码 98

4.4线性分组码 99

4.4.1汉明码的构成 99

4.4.2监督矩阵H和生成矩阵G 100

4.4.3伴随式（校验子S） 102

4.4.4分组码的纠检错能力 102

4.5循环码 103

4.5.1循环码的描述 103

4.5.2校验子与循环码的编、译码原理 106

4.5.3译码方法和电路 108

4.5.4几种改进循环码 110

4.6卷积码 115

4.6.1卷积码的基本原理 115

4.6.2卷积码的译码 120

4.7限失真编码定理 122

习题 124

第5章 接近香农极限的编码 126

5.1 Turbo码 126

5.1.1 Turbo码的编码 127

5.1.2 Turbo码的译码 130

5.1.3译码性能分析 134

5.2低密度校验码的定义 135

5.2.1 LDPC码的概念与描述 135

5.2.2 LDPC码的Tanner图表示 137

5.3低密度校验码的编码和译码 139

5.3.1 LDPC码的编码 139

5.3.2 LDPC码的译码 141

5.4低密度校验码的性能分析 144

习题 146

第6章 信息率失真理论 147

6.1引言 147

6.2信息率失真函数及其性质 149

6.2.1失真度 149

6.2.2信息率失真函数 151

6.2.3率失真函数与信道容量的对偶性 152

6.2.4最小失真度和最大失真度 152

6.3二元对称信源的率失真函数 155

6.4保真度准则下的信源编码定理 158

6.5离散无记忆信道的容量-代价函数 160

6.5.1容量-代价函数 160

6.5.2容量-代价函数的理解 161

6.5.3容量-代价函数的性质 162

习题 163

参考文献 165