信息论基础PDF电子书下载

第1章 绪论 1

1.1 信息的概念 1

1.2 信息论的历史和发展 2

1.3 本书的组织结构 3

第2章 信源熵 5

2.1 概述 5

2.2 单符号离散信源的熵（离散熵） 6

2.2.1 信息量 6

2.2.2 平均信息量（熵） 9

2.3 多符号离散信源的熵（离散熵） 15

2.3.1 离散无记忆平稳信源的Ⅳ次扩展信源的熵 15

2.3.2 N维离散有记忆平稳信源的熵 16

2.3.3 马尔可夫信源的极限熵 17

2.3.4 离散信源冗余度 17

2.4 连续信源的熵（连续熵） 20

2.4.1 连续信源的熵 20

2.4.2 特殊连续信源的熵 22

2.4.3 连续信源冗余度 25

2.5 无失真信源编码定理（香农第一定理） 26

历史和启示 29

本章小结 29

本章附录 31

习题 32

第3章 信道容量 34

3.1 概述 34

3.2 基本概念 35

3.2.1 信道模型 35

3.2.2 互信息量 37

3.2.3 平均互信息量（互熵） 41

3.2.4 互熵与熵的关系 46

3.3 单符号离散信道的信道容量 47

3.3.1 特殊离散信道的信道容量 48

3.3.2 一般离散信道的信道容量 58

3.3.3 单符号离散信道的串联信道的信道容量 59

3.4 多符号离散信道的信道容量 61

3.4.1 单符号离散信道的N次扩展信道的信道容量 61

3.4.2 单符号离散信道的N个独立并联信道的信道容量 62

3.5 连续信道 62

3.5.1 时间离散的加性连续信道的信道容量 63

3.5.2 时间连续的加性连续信道的信道容量 66

3.6 信道冗余度 67

3.7 信道编码定理（香农第二定理） 68

历史和启示 68

本章小结 68

本章附录 71

习题 71

第4章 信息率失真函数 74

4.1 概述 74

4.2 基本概念 75

4.2.1 失真函数和失真矩阵 75

4.2.2 平均失真函数？和允许平均失真D 77

4.3 信息率失真函数R（D） 79

4.3.1 信息率失真函数R（D）的定义 79

4.3.2 信息率失真函数R（D）与信道容量C 81

4.3.3 信息率失真函数R（D）的性质 82

4.4 离散信源的信息率失真函数R（D） 86

4.5 连续信源的信息率失真函数R（D） 88

4.6 限失真信源编码定理（香农第三定理） 89

历史和启示 90

本章小结 90

习题 91

第5章 信源编码 93

5.1 概述 93

5.2 基本概念 94

5.3 统计特性已知的离散无记忆信源编码 99

5.3.1 香农编码 99

5.3.2 费诺编码 103

5.3.3 香农-费诺-埃利斯编码 105

5.3.4 霍夫曼编码 108

5.4 统计特性已知的离散有记忆信源编码 114

5.4.1 游程编码 114

5.4.2 算术编码 115

5.5 统计特性未知的离散信源编码——通用编码 118

5.5.1 字典码LZ-77 119

5.5.2 字典码LZ-78 119

5.5.3 字典码LZW 120

历史和启示 121

本章小结 122

习题 122

第6章 信道编码 124

6.1 概述 124

6.2 基本概念 125

6.2.1 差错控制的方式 125

6.2.2 检错、纠错能力与码重、码距的关系 126

6.2.3 简单的信道编码 129

6.3 线性分组码 130

6.3.1 生成矩阵 130

6.3.2 校验矩阵 133

6.3.3 伴随矩阵 134

6.3.4 完备码、汉明码和极大最小距离码 136

6.4 循环码 137

6.4.1 生成多项式和生成矩阵 139

6.4.2 校验多项式和校验矩阵 143

6.4.3 伴随多项式和伴随矩阵 144

6.4.4 BCH码和RS码 146

6.5 卷积码 147

6.5.1 卷积码的组成结构 148

6.5.2 卷积码的解析表示法 149

6.5.3 卷积码的图解表示法 152

6.5.4 卷积码的译码方法 154

历史和启示 155

本章小结 156

习题 158

第7章 网络信息论 160

7.1 概述 160

7.2 网络信道分类 161

7.2.1 多址接入信道 161

7.2.2 广播信道 162

7.2.3 中继信道 162

7.2.4 串扰信道 163

7.2.5 双向信道 163

7.2.6 反馈信道 163

7.2.7 网络信道 163

7.3 多址接入信道 164

7.3.1 二址接入信道的信道容量区域 164

7.3.2 多址接入信道的信道容量区域 165

7.3.3 二址接入信道的信道容量区域的求解实例 166

7.4 广播信道 168

7.4.1 单输入二输出广播信道分类 168

7.4.2 单输入二输出降阶广播信道的信道容量区域 169

7.4.3 广播信道实例及其广义含义 170

7.5 相关信源编码 171

7.5.1 相关信源编码模型的分类 171

7.5.2 Slepian-Wolf相关信源编码 173

7.5.3 相关信源编码与二址接入信道 174

历史和启示 176

本章小结 176

习题 177

第8章 网络编码 179

8.1 概述 179

8.2 网络编码的优势和劣势 181

8.2.1 网络编码的优势 181

8.2.2 网络编码的劣势 183

8.3 网络编码的可行性和本质 184

8.3.1 随机网络编码 184

8.3.2 网络编码的本质 185

8.4 有向无环网络中的网络编码 186

8.4.1 局部编码矩阵和全局编码矩阵 187

8.4.2 线性网络编码的4个特性 189

8.5 有向有环网络中的网络编码 192

8.5.1 有向有环网络中的局部编码矩阵和全局编码矩阵 193

8.5.2 卷积网络编码的4个特性 195

8.6 无向网络中的网络编码 195

8.7 网络编码典型应用 196

8.7.1 应用层的网络编码应用 197

8.7.2 网络层的网络编码应用 198

8.7.3 物理层的网络编码应用 198

8.8 网络编码的展望 200

历史和启示 200

本章小结 201

习题 202

参考文献 202

参考书目 205