信息论基础PDF电子书下载

第1章 概论 1

1.1信息的一般概念 1

1.2信息论研究的对象、目的和内容 3

第2章 信源和信源熵 7

2.1信源的描述与分类 7

2.1.1离散信源与连续信源 7

2.1.2离散无记忆信源和离散有记忆信源 8

2.2离散信源的信息熵 9

2.2.1自信息 10

2.2.2信息熵 12

2.3信源熵的基本特性和定理 13

2.4离散无记忆的扩展信源 17

2.4.1最简单的离散信源 18

2.4.2 N次扩展信源 18

2.4.3 N次扩展信源的熵 19

2.5离散平稳信源 21

2.5.1离散平稳信源的数学定义 21

2.5.2二维平稳信源及其信息熵 22

2.5.3离散平稳信源的信源熵和极限熵 26

2.6马尔可夫信源 29

2.6.1马尔可夫信源的定义 29

2.6.2马尔可夫信源的熵 33

2.7信源的相关性和剩余度 37

2.8连续信源 39

2.8.1连续信源的熵 40

2.8.2几种特殊连续信源的熵 42

2.8.3最大连续熵定理 45

习题 50

第3章 信道和信道容量 54

3.1信道的数学模型和分类 54

3.1.1信道的分类 54

3.1.2离散信道的数学模型 55

3.1.3单符号离散信道的数学模型 57

3.1.4多符号离散信道的数学模型 60

3.2信道疑义度及平均互信息 62

3.2.1信道疑义度 62

3.2.2平均互信息 65

3.2.3平均条件互信息 66

3.3平均互信息的特征 68

3.3.1平均互信息I（X;Y）的基本特性 68

3.3.2关于平均互信息I（X;Y）是凸函数的两个定理 70

3.4离散信道的信道容量 75

3.4.1信道容量的定义 75

3.4.2离散无噪信道的信道容量 76

3.4.3对称离散信道的信道容量 79

3.4.4一般离散信道的信道容量 82

3.5离散无记忆N次扩展信道的信道容量 91

3.6组合信道的信道容量 93

3.6.1并联信道的信道容量 93

3.6.2级联信道的信道容量 94

3.7连续信道和波形信道的信道容量 97

3.7.1连续信道与波形信道 97

3.7.2连续信道的信道容量 98

3.7.3限带高斯白噪声加性波形信道的信道容量 100

3.7.4香农公式的重要指导意义 102

习题 103

第4章 信源编码 107

4.1编码器 107

4.2等长码和等长信源编码定理 109

4.3变长码 113

4.3.1唯一可译变长码与即时码 113

4.3.2即时码的树图构造法 115

4.3.3克拉夫特（L.G.Kraft）不等式 116

4.3.4唯一可译码的判别准则 117

4.4变长信源编码定理 119

4.4.1紧致码 119

4.4.2变长无失真信源编码定理（香农第一定理） 122

4.5变长码的编码方法 126

4.5.1香农编码 126

4.5.2霍夫曼编码 128

4.5.3费诺编码 133

4.5.4游程编码 134

4.5.5冗余位编码 137

习题 139

第5章 信道编码 142

5.1错误概率和译码准则 142

5.1.1译码准则 142

5.1.2误码率与信道疑义度的关系——费诺不等式 146

5.2错误概率与编码方法 147

5.2.1简单重复编码 147

5.2.2香农第二定理的提示 150

5.2.3汉明距离与抗干扰性的关系 151

5.3有噪信道编码定理及其逆定理 154

5.3.1有噪信道编码定理 154

5.3.2有噪信道编码定理的逆定理 158

5.3.3错误概率的上界 159

习题 160

第6章 信息率失真函数 162

6.1基本概念 163

6.1.1失真函数 163

6.1.2平均失真度 164

6.2信息率失真函数 166

6.2.1 D允许信道（试验信道） 166

6.2.2信息率失真函数的定义 166

6.2.3信息率失真函数的性质 167

6.3离散信源和连续信源信息率失真函数的计算 172

6.3.1离散信源的信息率失真函数的参量表达式 172

6.3.2二元离散等概率信源的信息率失真函数 175

6.3.3连续信源的信息率失真函数 180

6.4保真度准则下的信源编码定理 185

6.4.1限失真信源编码定理 185

6.4.2限失真信源编码定理的逆定理 185

6.4.3限失真信源编码定理的意义 186

习题 186

第7章 信息理论在现代通信中的应用 189

7.1密码学中的熵概念 189

7.2 MIMO信道的容量 190

7.2.1确定性MIMO信道的容量 191

7.2.2衰落MIMO信道的容量 195

参考文献 200