信息论基础教程PDF电子书下载

第1章 绪论 1

1．1信息的概念 1

1．2信息论研究的内容 2

1．3通信系统模型 4

1．4信息论发展简史和现状 5

第2章 信源和熵 7

2．1信源特性和分类 7

2．2离散信源的熵 10

信息量的定义 11

熵 14

条件熵和联合熵 16

2．3熵函数的数学特性 18

2．4离散随机变量之间的互信息 24

互信息量 24

条件互信息量和联合互信息量 26

平均互信息量 29

2．5信息不增性原理 37

2．6平稳离散信源 39

平稳信源的定义 39

平稳信源的熵 41

信源的冗余度 44

2．7马尔可夫信源 46

马尔可夫信源的定义 46

马尔可夫信源的熵 47

2．8连续随机变量的熵和互信息 49

连续随机变量的相对熵和绝对熵 50

最大相对熵 53

熵功率 57

习题 59

第3章 信道与信道容量 63

3．1信道的数学模型和分类 63

3．2离散无记忆信道的信道容量 67

信道容量的定义 67

离散无噪声信道 71

准对称与对称离散无记忆信道容量 73

可逆矩阵信道的信道容量 76

3．3信源与信道的匹配 78

3．4信道的组合 78

积信道（独立并行信道） 79

和信道（并信道） 81

输入并接信道 82

级联信道 83

3．5时间离散的无记忆连续信道 83

可加噪声信道 84

平均功率受限可加噪声信道 85

香农公式 87

平行可加高斯信道的容量 89

习题 91

第4章 离散信源的无失真编码 94

4．1编码器 94

4．2等长码和等长信源编码定理 95

4．3变长码 98

4．4变长信源编码定理 103

4．5变长码的编码方法 109

费诺（Fano）码 109

霍夫曼（H uffman）码 110

r进制霍夫曼码 114

习题 116

第5章 信道编码 118

5．1错误概率和译码规则 118

5．2错误概率与编码方法 121

5．3信道编码定理与逆定理 127

信道编码定理 127

信道编码定理的逆定理 127

5．4常用信道编码方法 128

检错和纠错的基本原理 129

奇偶校验码 129

线性分组码 130

汉明码 134

循环码 135

卷积码 138

习题 141

第6章 限失真信源编码 145

6．1引言 145

6．2率失真函数的定义 146

失真函数 146

率失真函数的定义 148

6．3率失真函数的性质 150

6．4率失真函数的计算 153

6．5连续信源的率失真函数 156

连续信源的率失真函数及其计算 156

高斯信源的率失真函数及其计算 157

6．6限失真信源编码定理 160

信源编码定理及其逆定理 160

编码定理的意义 160

习题 161

第7章 网络信息论 164

7．1网络信道分类 164

多源接入信道 164

广播信道 164

中继信道 165

串扰信道 166

双向信道 167

反馈信道 167

多用户通信网信道 167

7．2相关信源编码 168

基本概念 168

相关信源独立编码 170

相关信源协同编码 171

7．3典型网络信道 172

多源接入信道 172

高斯多源接入信道 174

中继信道 176

广播信道 177

反馈信道 178

习题 180

第8章 保密通信的信息理论 181

8．1保密通信基础知识 181

保密学的发展史 181

基本概念 182

8．2保密系统的数学模型 184

保密通信系统 184

密码学中熵的概念 186

理想保密性 187

8．3数据加密标准（DES） 188

替代密码与置换密码 188

DES密码算法 190

DES密码的安全性 195

8．4国际数据加密算法（IDEA） 195

算法原理 195

加密解密过程 196

算法的安全性 197

8．5公钥加密方法 198

公钥密码体制的基本原理 199

RSA密码体制 199

报文摘要MD5 202

8．6信息安全与数字签名 206

信息安全的基本概念 206

数字签名 208

习题 211

附录 212

附录A 信道编码定理的证明 212

附录B MATLAB源程序 215

参考文献 237