信息论与编码理论PDF电子书下载

第1章 绪论 1

1.1 信息 1

1.1.1 信息的概念 1

1.1.2 信息的性质 2

1.2 通信系统模型 2

1.2.1 信源和信宿 3

1.2.2 编码器和译码器 3

1.2.3 信道和噪声 3

1.3 离散与连续 3

1.4 信息论和编码理论的形成和发展 4

小结 5

习题 6

第2章 信息的统计度量 7

2.1 自信息和条件自信息 7

2.1.1 自信息的定义与含义 7

2.1.2 条件自信息的定义与含义 8

2.2 互信息 9

2.2.1 互信息的定义与含义 9

2.2.2 互信息的性质 9

2.3 平均自信息（熵） 11

2.3.1 熵的定义与含义 11

2.3.2 熵函数的数学性质 12

2.3.3 条件熵 17

2.3.4 联合熵 17

2.3.5 各种熵之间的关系 17

2.4 平均互信息 20

2.4.1 平均互信息的定义与含义 20

2.4.2 平均互信息的性质 20

2.4.3 各种熵和平均互信息量之间的关系 21

2.5 连续随机变量的互信息和相对熵 22

2.5.1 连续随机变量的统计特性 22

2.5.2 连续随机变量的互信息 23

2.5.3 连续随机变量的相对熵 23

小结 24

习题 25

第3章 离散信源 29

3.1 离散信源的数学模型 29

3.2 信源的分类 29

3.2.1 无记忆信源 30

3.2.2 有记忆信源 30

3.3 离散无记忆信源 30

3.3.1 离散无记忆信源及其熵 30

3.3.2 离散无记忆信源的扩展信源及其熵 32

3.4 马尔可夫信源 33

3.4.1 马尔可夫信源的定义 33

3.4.2 有限状态马尔可夫链 34

3.4.3 马尔可夫信源的马尔可夫链性质 35

3.4.4 马尔可夫信源的熵 36

3.5 离散平稳信源 40

3.5.1 平稳信源的概念 40

3.5.2 平稳信源的熵 41

3.6 信源的相关性和剩余度 44

小结 45

习题 46

第4章 离散信道 50

4.1 离散信道的数学模型 50

4.2 信道的分类 50

4.3 离散无记忆信道 53

4.3.1 离散无记忆信道的数学模型 53

4.3.2 信道疑义度和噪声熵 54

4.3.3 信道的平均互信息及其含义 55

4.4 信道的组合 58

4.5 信道容量 61

4.5.1 信息传输率 61

4.5.2 信道容量的定义及含义 62

4.5.3 三种特殊信道的容量 62

4.5.4 对称信道的容量 63

4.5.5 一般信道的容量 65

4.5.6 信源和信道的匹配 71

小结 71

习题 72

第5章 连续信源和连续信道 76

5.1 连续信源 76

5.1.1 连续信源的数学模型 76

5.1.2 连续信源的熵和互信息 76

5.2 连续信道及其信道容量 79

5.2.1 时间离散信道 79

5.2.2 连续信道 81

小结 82

习题 83

第6章 无失真信源编码 84

6.1 编码的基本概念 84

6.1.1 编码器和译码器 84

6.1.2 码的分类 85

6.1.3 N次扩展码 86

6.2 “无失真”的本质 86

6.3 定长码 87

6.4 变长码 89

6.4.1 变长码的衡量指标 89

6.4.2 变长码的特点 90

6.4.3 唯一可译码和即时码的判别 91

6.4.4 无失真信源编码定理（香农第一定理） 95

6.5 霍夫曼码 98

6.5.1 二元霍夫曼码 98

6.5.2 多元霍夫曼码 100

6.6 算术编码 102

6.6.1 算术编码的基本原理 102

6.6.2 算术编码方法 103

6.6.3 算术译码方法 105

6.7 LZW编码 106

6.7.1 LZW基本原理 106

6.7.2 LZW编码方法 106

小结 108

习题 109

第7章 限失真信源编码 113

7.1 失真的度量 113

7.1.1 失真函数和失真矩阵 113

7.1.2 序列失真 114

7.1.3 平均失真和保真度准则 115

7.2 信息率失真函数 115

7.2.1 信息率失真函数的定义和含义 115

7.2.2 信息率失真函数的定义域和性质 116

7.2.3 信息率失真函数和信道容量的关系 119

7.2.4 限失真信源编码定理（香农第三定理） 120

7.3 量化编码 120

7.3.1 量化编码的主要作用 120

7.3.2 均匀量化 120

7.3.3 最优量化 121

7.3.4 矢量量化编码 121

7.4 预测编码 121

7.4.1 预测编码的基本原理和方法 122

7.4.2 预测编码能够限失真压缩信源的原因 122

7.4.3 DPCM编译码原理 123

7.5 变换编码 123

7.5.1 变换编码的基本原理 123

7.5.2 变换编码能够限失真压缩信源的原因 125

7.5.3 离散余弦变换 126

7.5.4 变换编码的广泛应用 127

小结 127

习题 128

第8章 信道编码 130

8.1 信道编码的基本概念 130

8.1.1 编译码规则、检纠错能力 130

8.1.2 平均错误译码概率 131

8.2 译码规则 133

8.3 有噪信道编码定理（香农第二定理） 134

8.4 线性分组码 134

8.4.1 基本概念 134

8.4.2 线性分组码的性质 135

8.4.3 线性分组码的两个重要参数——编码效率和最小汉明距离 136

8.4.4 生成矩阵和监督矩阵 138

8.4.5 对偶码 141

8.4.6 伴随式、伴随式的错误图样表示、根据伴随式译码 142

8.4.7 汉明码 144

8.5 循环码 145

8.5.1 循环码的基本概念 145

8.5.2 循环码的生成多项式和监督多项式 146

8.5.3 循环码的译码 148

8.5.4 BCH码 149

8.5.5 RS码 150

8.6 卷积码 150

8.6.1 卷积码的基本概念和基本原理 150

8.6.2 卷积码的编码 151

8.6.3 卷积码的矩阵表述 152

8.7 突发错误的纠正 153

8.7.1 基本概念 153

8.7.2 级联码 154

8.7.3 交织码 154

8.7.4 Turbo码 155

小结 156

习题 157

附录A 凸函数与詹森（Jensen）不等式 160

A.1 一元函数的凸性 160

A.2 函数凸性的判别 160

A.3 Jensen不等式 161

A.4 凸域和凸函数 161

A.5 凸域中的Jensen不等式 162

附录B BCH编码表 163

参考文献 168