信息论与编码PDF电子书下载

第1章 绪论 1

1.1通信与信息的基本概念 1

1.1.1消息和信号 1

1.1.2信息 2

1.2信息论及信息科学 4

1.2.1信息科学的创立 4

1.2.2信息科学与信息产业的发展 4

1.3信息论的研究范畴 6

1.3.1香农信息论（狭义信息论） 6

1.3.2一般信息论 7

1.3.3广义信息论 7

本章小结 8

习题 8

第2章 信源描述及信息的度量 9

2.1信源的数学模型及分类 9

2.1.1离散信源 9

2.1.2连续信源 12

2.1.3平稳信源 13

2.1.4自然语信源 14

2.2信息的度量 15

2.2.1度量信息的基本思路 16

2.2.2自信息量与不确定度的关系 17

2.3离散信源的信息熵 17

2.3.1信源的信息熵 17

2.3.2条件自信息量和条件熵 19

2.4互信息量 20

2.4.1互信息量 20

2.4.2条件互信息量 22

2.4.3平均互信息量 23

2.4.4疑义度和噪声熵 25

2.5数据处理中的信息变化 26

2.5.1 n维随机变量的熵 26

2.5.2 n维随机变量的信息传递 27

2.5.3数据处理中的信息变化 27

2.6 离散平稳信源 28

2.7离散信源的熵和时间熵 31

2.7.1离散信源的熵 31

2.7.2离散信源的时间熵 35

本章小结 37

习题 37

第3章 离散信源的信源编码 41

3.1信源的冗余度 41

3.2信源符号序列分组定理 43

3.3信源编码模型及最佳编码 45

3.3.1信源编码模型 45

3.3.2最佳编码 46

3.4变长码的信源编码 48

3.4.1唯一可译码与即时码 48

3.4.2 Kraft不等式 49

3.4.3平均码长界定定理 51

3.5等长码的信源编码定理 53

3.6无失真信源编码 55

3.6.1香农第一定理 55

3.6.2香农编码 57

3.6.3费诺编码 58

3.6.4霍夫曼编码 59

3.6.5算术编码 61

3.6.6游程编码 64

3.6.7 Lempe1-Ziv编码 64

3.7信源编码的错误扩散 66

本章小结 67

习题 67

第4章 离散信道的信道容量 70

4.1信道的分类及数学模型 70

4.1.1信道的分类 70

4.1.2离散信道的数学模型 70

4.2单符号离散信道的数学模型 71

4.2.1二进制对称信道 72

4.2.2二进制删除信道 73

4.3单符号离散信道的信道容量 74

4.3.1信息传输速率和信道容量 74

4.3.2几种特殊离散信道的信道容量 75

4.3.3独立并联信道的信道容量 77

4.3.4串联信道的信道容量 78

4.4多符号离散信道的信道容量 80

4.4.1多符号离散对称信道的信道容量 80

4.4.2离散无记忆扩展信道的信道容量 81

本章小结 83

习题 83

第5章 有扰离散信道编码定理 86

5.1译码准则 86

5.1.1最小错误概率准则 86

5.1.2最大似然译码准则 88

5.2费诺不等式 89

5.3汉明距离 90

5.3.1错误概率与编码方法 90

5.3.2汉明距离 92

5.4有扰离散信道的信道编码定理 93

本章小结 98

习题 99

第6章 连续信源和连续信道 101

6.1连续消息的信息度量 101

6.1.1连续信源的相对熵 102

6.1.2几种典型连续信源的相对熵 103

6.1.3连续消息的条件熵 107

6.1.4连续消息的平均互信息量 108

6.2最大相对熵定理 109

6.2.1相对熵的性质 109

6.2.2最大相对熵定理 109

6.3熵功率 112

6.3.1连续信源熵的变换 112

6.3.2熵功率 113

6.3.3熵功率不等式 114

6.3.4噪声 114

6.4香农信道容量公式 115

6.4.1连续信道的信道容量 115

6.4.2香农信道容量公式 117

6.5连续信源编码 118

6.5.1标量量化与理想接收机 118

6.5.2矢量量化编码 120

6.5.3预测编码 121

本章小结 123

习题 123

第7章 信息率失真理论及其应用 126

7.1失真度和平均失真度 126

7.1.1失真度 126

7.1.2平均失真度 128

7.2信息率失真函数 129

7.2.1保真度准则及D0失真许可的试验信道 129

7.2.2信息率失真函数 130

7.2.3信息率失真函数的性质 132

7.3信息率失真函数的计算 136

7.3.1误码失真条件下离散信源的信息率失真函数 136

7.3.2离散信源的R（D）参量表示 138

7.3.3连续信源的信息率失真函数 141

7.4保真度准则下的信源编码定理 142

7.5信息价值 142

本章小结 145

习题 145

第8章 网络信息理论基础 148

8.1多用户信息传输系统模型 148

8.2多址接入信道及其信道容量 149

8.2.1基本概念 149

8.2.2二进制接入信道 150

8.2.3 N进制接入信道 152

8.2.4高斯加性多址信道 153

8.2.5广播信道的信道容量 153

8.3相关信源的基本理论 156

8.3.1离散无记忆相关信源的编码定理 156

8.3.2相关信源通过接入信道的传输定理 157

8.3.3相关信源的边信息与公信息 158

本章小结 159

习题 160

第9章 差错控制基础 161

9.1差错控制的途径和基本方式 161

9.1.1插入冗余度 161

9.1.2差错随机化 163

9.1.3参量权衡 164

9.2纠错编码的基本概念 164

9.2.1纠错编码的分类 164

9.2.2纠错编码的基本概念 166

9.3纠错编码的检、纠错能力 169

9.4近世代数基础 171

9.4.1整数 171

9.4.2群 172

9.4.3环 173

9.4.4域 174

9.4.5多项式环和域 177

9.4.6 GF（2）的扩域GF（2m） 178

9.4.7矢量空间 182

本章小结 183

习题 183

第10章 线性分组码 185

10.1线性分组码的基本概念 185

10.1.1线性分组码的描述 185

10.1.2生成矩阵和校验矩阵 186

10.1.3系统码 187

10.2线性分组码的编译码 188

10.2.1线性分组码的编码 188

10.2.2线性分组码的译码 189

10.3线性分组码的纠、检错性能 192

10.3.1线性分组码的距离与重量的关系 192

10.3.2极大最小距离码（MDC） 193

10.3.3伴随式译码的性能 193

10.4汉明码和格雷码 193

10.4.1完备码 194

10.4.2汉明码 194

10.4.3格雷码 195

10.5循环码 196

10.5.1循环码的定义与描述 196

10.5.2循环码的生成矩阵和校验矩阵 199

10.5.3循环码的编码 200

10.5.4循环码的译码 203

10.5.5循环码的缩短与扩展 207

10.6 BCH码 208

10.6.1 BCH码的编码 209

10.6.2 BCH码的译码 211

10.7 R-S码 216

本章小结 218

习题 218

第11章 卷积码 221

11.1基本概念 221

11.2卷积码的编码 221

11.2.1生成矩阵描述 221

11.2.2多项式描述 224

11.2.3状态图描述 225

11.2.4树图描述 226

11.3卷积码的译码 227

11.3.1网格图 227

11.3.2维特比译码 228

11.3.3序列译码 231

11.4卷积码的特性 236

11.4.1卷积码的码率 236

11.4.2卷积码的距离特性 236

11.4.3恶性卷积码及译码的错误扩展 238

本章小结 238

习题 239

第12章 纠突发错误码 241

12.1纠突发错误码的基本概念 241

12.2纠突发错误循环码 243

12.2.1法尔码 243

12.2.2交织码 244

12.2.3伯顿码 247

12.3纠突发错误循环码的译码 248

12.4纠突发错误卷积码 249

12.4.1纠突发错误卷积码的基本概念 249

12.4.2卷积交织 250

12.5纠突发和随机错误码 251

12.5.1循环乘积码 251

12.5.2级联码 253

12.5.3 Turbo码 254

本章小结 256

习题 257

第13章 保密通信基础 258

13.1保密通信的技术体制及数学模型 258

13.1.1加密和解密过程的模型 258

13.1.2密码系统安全性 259

13.1.3常规密码 260

13.2信息保密技术的基础知识 262

13.2.1基本度量 262

13.2.2理想保密性 263

13.2.3单一性距离 264

13.3数据加密标准DES 266

13.3.1技术基础 266

13.3.2乘法密码系统 267

13.3.3数据加密标准DES 268

13.4流加密技术 270

13.5公共密钥密码系统 271

13.6 PGP标准 273

13.6.1基本算法 273

13.6.2私密密钥算法 274

13.6.3会话密钥的加密 274

13.6.4认证和签名 275

13.7通信网络安全的加密方案 276

13.7.1链路加密技术 276

13.7.2端到端加密 277

本章小结 277

习题 277

第14章 信息论的广泛应用 280

14.1多媒体通信中的编译码技术 280

14.1.1多媒体数据压缩编码技术 280

14.1.2多媒体数据压缩国际标准JPEG及JPEG2000 282

14.1.3多媒体会议系统中的信道编码技术 284

14.2计算机网络通信中的编译码技术 284

14.2.1数据链路控制规程中的差错控制技术 285

14.2.2网络电话系统中的信息处理技术 286

14.3信息论在数字移动通信中的应用 287

14.3.1数字移动通信中的语音编码技术 288

14.3.2 Turbo码在CDMA2000中的应用 290

14.3.3 TD-SCDMA中的信道编码技术 292

14.4信息论在宽带无线接入中的应用 294

14.4.1蓝牙系统中的差错控制技术 294

14.4.2 IEEE 802.11 WLAN中的编译码算法 296

14.5信息论在其他领域的应用 296

本章小结 297

习题 298

附录A缩略词 299

常用符号 301

参考文献 302