信息论与编码基础PDF电子书下载

出版说明 1

前言 1

第1篇　基础篇 1

第1章　概论 1

1.1　信息论的形成和发展 1

目录 1

1.2　通信系统模型 2

1.3　Shannon信息论的框架与本书的编排 3

1.3.1　Shannon信息论的框架结构 3

1.3.2　本书的编排 5

2.1.1 消息、信息与概率空间 6

第2章　信息的度量 6

2.1　离散变量的自信息量 6

2.1.2　离散变量的自信息量 7

2.1.3　信息量单位 8

2.2　离散变量集的平均信息量 9

2.2.1 信息熵 9

2.2.2　熵函数性质 9

2.3　互信息量 10

2.3.1　联合自信息量与条件自信息量 10

2.3.2　互信息量的概念 11

2.3.3　事件互信息的性质 12

2.3.4　离散集的平均互信息量 13

2.4　信息不增性原理 18

2.4.1　平均条件互信息量 18

2.4.2　信息处理定理 19

2.5　连续随机变量的信息度量 20

2.5.1　连续随机变量的微分熵 20

2.5.2　微分熵性质 21

2.5.3　连续随机变量的互信息量 23

2.5.4　连续随机变量的最大熵 23

2.6　小结 24

2.7　习题 25

3.1　信源分类 27

第3章　信源及其信息量 27

3.2　信源概率模型与熵函数 28

3.3 Markov信源 28

3.3.1 Markov过程与状态转移图 28

3.3.2　遍历Markov信源及稳定分布 31

3.3.3　遍历Markov信源的熵 32

3.4　扩展信源的概念 35

3.4.1　无记忆扩展信源 35

3.4.2　Markov扩展信源 37

3.5 小结 38

3.6 习题 39

4.1.1 信道模型 41

4.1.2　信道分类 41

4.1　信道模型与信道分类 41

第4章　信道及其容量 41

4.2　离散无记忆信道 42

4.2.1 转移概率矩阵与信道线图 42

4.2.2　信道的输出熵与互信息 43

4.2.3　DMC信道的容量 45

4.2.4　对称DMC 48

4.2.5　组合信道 51

4.3　离散无记忆扩展信道 53

4.3.1　N次扩展信道的转移概率矩阵 53

4.3.2　N次扩展信道的容量 54

4.4.1　时间离散连续信道 55

4.4　连续信道的容量 55

4.4.2　时间连续的连续信道 57

4.5　小结 59

4.6 习题 60

第2篇　信道编码篇 64

第5章　分组码 64

5.1 编码定理与纠错码的基本概念 64

5.1.1 编码定理与差错控制方式 64

5.1.2　码字的纠错能力 66

5.1.3　译码准则 67

5.2　线性分组码 70

5.2.1 一致监督方程和一致监督矩阵 70

5.2.2　线性分组码的编码与译码 72

5.3.1　循环过程的数学表达式 75

5.3　循环码 75

5.3.2　循环码的生成多项式 76

5.3.3　系统码形式的循环码 77

5.3.4　循环码的译码 79

5.4 BCH码和RS码 82

5.4.1 BCH码 82

5.4.2 RS码 83

5.5　小结 85

5.6　习题 85

6.1.1 引言 87

6.1.2　约束度与约束长度 87

6.1 基本概念 87

第6章　卷积码 87

6.1.3 系统卷积码与卷积码的多项式描述 88

6.2　卷积码编码过程的图形描述 90

6.2.1 树状图 90

6.2.2 网格图 90

6.2.3 状态图 91

6.3 Viterbi译码简介 91

6.3.1 VB译码的度量 91

6.3.2 VB译码原理 92

6.4　卷积码的删余 93

6.5　小结 96

6.6　习题 96

7.2.1　TCM思想的由来 98

7.2　TCM技术 98

第7章 TCM与Turbo码 98

7.1 引言 98

7.2.2　TCM系统模型 99

7.2.3　TCM设计中的关键技术 100

7.3　Turbo码 105

7.3.1 引言 105

7.3.2　Turbo码编码器 105

7.3.3　Turbo码的译码 108

7.3.4　Turbo码在移动通信系统中的应用 109

7.4　小结 112

7.5 习题 112

8.1　数据可压缩编码原理 114

8.1.1 引言 114

第8章　离散信源无失真编码 114

第3篇　信源编码篇 114

8.1.2　单义可译码 116

8.1.3　Shannon-Fano编码与无失真编码定理 117

8.2　基于信源统计特性的编码方法 122

8.2.1　Huffman编码 122

8.2.2　算术码 123

8.3　基于数据串特性的编码 127

8.3.1　字典编码与LZ码 127

8.3.2 LZ编码算法 128

8.3.3 LZ码的译码过程 130

8.3.4 LZ码的压缩性能 131

8.4　小结 132

8.5　习题 133

第9章 限失真信源编码理论 135

9.1　失真的度量 135

9.1.1　失真函数 135

9.1.2 多维矢量的失真函数与平均失真 136

9.1.3　量化失真度量 137

9.2　信息率-失真函数的定义与性质 139

9.2.1　基本概念与定义 139

9.2.2　R（D）函数的性质 142

9.3.1 条件极值的Lagrangian乘子法 146

9.3　R（D）函数的计算 146

9.3.2　二元信源的R（D）函数 149

9.4 连续信源的R（D）函数及Shannon低界 150

9.4.1 连续信源的R（D）函数 150

9.4.2 差值误差测量的R（D）函数与Shannon低界 151

9.5　小结 157

9.6　习题 158

第10章　信源编码实践 159

10.1 限失真信源编码技术基础 159

10.1.1 引言 159

10.1.2　时域波形编码 159

10.1.3　频域波形编码 168

10.1.4　基于模型的信源编码 173

10.1.5　人类感知特性的应用 175

10.2　视频编码实践 177

10.2.1 引言 177

10.2.2　JPEG标准 177

10.2.3　H.261与H.263建议 181

10.2.4　MPEG编码标准 186

10.3　音频编码实践 195

10.3.1 引言 195

10.3.2　语音数字编码标准 196

10.3.3 高保真立体声音频编码标准 196

10.5 习题 199

10.4　小结 199

第4篇　网络篇 201

第11章 网络信息论初步 201

11.1 引言 201

11.1.1 网络信息论的发展概况 201

11.1.2 网络信息论研究的问题与信道模型 202

11.2　相关信源编码 205

11.2.1 Slepian-Wolf定理 205

11.2.2　应用校正子的相关信源编码（DTSCUS） 207

11.3　相关信源协同编码 209

11.4　多址接入信道（MAC） 211

11.4.1　离散多址接入信道 211

11.4.2　多址接入Gaussian噪声信道 216

11.4.3　相关信源的多址接入信道 219

11.5　广播信道 220

11.5.1　离散无记忆广播信道（DMBC） 220

11.5.2　退化广播信道 221

11.6　小结 224

11.7　习题 225

第12章　信息安全中的密码技术 228

12.1　信息安全与密码学 228

12.2　Shannon的保密系统理论 228

12.2.1　密码学的基本概念 228

12.2.2　理想保密性（perfect secrecy） 229

12.2.3　乘积加密系统 233

12.3　信息加密技术 236

12.3.1　对称密码体制 236

12.3.2　公钥（非对称）密码体制 241

12.4　信息认证技术 246

12.4.1　信息认证算法 246

12.4.2　数字签名 249

12.5 网络通信的信息安全技术 251

12.5.1　密码管理和分配 251

12.5.2　Internet的信息安全 254

12.6　小结 257

12.7　习题 257

参考文献 259