信息论基础PDF电子书下载

第1章 绪论 1

1．1信息的基本概念 1

1．1．1信息论的产生 1

1．1．2信息的基本概念 2

1．2香农信息论研究的内容 3

1．2．1通信系统模型 4

1．2．2香农信息论的主要内容 6

1．3香农信息论研究的进展与应用 8

1．3．1香农信息论创立的背景 8

1．3．2香农的主要贡献 9

1．3．3香农信息论的研究进展 9

1．3．4香农信息论的应用 12

思考题 12

第2章 离散信息的度量 14

2．1自信息和互信息 14

2．1．1自信息 14

2．1．2互信息 17

2．2信息熵 18

2．2．1信息熵的定义与计算 18

2．2．2条件熵与联合熵 21

2．2．3熵的基本性质 22

2．3平均互信息 27

2．3．1平均互信息的定义 27

2．3．2平均互信息的性质 28

2．3．3平均条件互信息 30

本章小结 33

思考题 34

习题 34

第3章 离散信源 37

3．1离散信源的分类与数学模型 37

3．1．1离散信源的分类 37

3．1．2离散无记忆信源的数学模型 38

3．1．3离散有记忆信源的数学模型 39

3．2离散无记忆信源的熵 39

3．2．1单符号离散无记忆信源的熵 39

3．2．2离散无记忆信源N次扩展源的熵 40

3．3离散平稳信源的熵 40

3．3．1离散平稳信源 40

3．3．2离散平稳有记忆信源的熵 41

3．4有限状态马尔可夫链 42

3．4．1马氏链基本概念 43

3．4．2齐次马氏链 43

3．4．3马氏链状态分类 46

3．4．4马氏链的平稳分布 47

3．5马尔可夫信源 48

3．5．1马氏源的基本概念 48

3．5．2马氏源的产生模型 50

3．5．3马氏链N次扩展源的熵的计算 51

3．5．4马氏源符号熵的计算 53

3．6信源的相关性与剩余度 55

3．6．1信源的相关性 55

3．6．2信源剩余度（冗余度） 55

3．6．3自然语言的相关性和剩余度 56

本章小结 59

思考题 59

习题 60

第4章 连续信息与连续信源 64

4．1连续随机变量集合的熵 64

4．1．1连续随机变量的离散化 65

4．1．2连续随机变量集的熵 65

4．1．3连续随机变量集的条件熵 65

4．1．4连续随机变量集的联合熵 66

4．1．5连续随机变量集合差熵的性质 66

4．1．6连续随机变量集合的信息散度 68

4．2离散时间高斯信源的熵 69

4．2．1一维高斯随机变量集的熵 69

4．2．2多维独立高斯随机变量集的熵 69

4．2．3多维相关高斯随机变量集的熵 69

4．3连续最大熵定理 70

4．3．1限峰值最大熵定理 71

4．3．2限功率最大熵定理 71

4．3．3熵功率和剩余度 72

4．4连续随机变量集的平均互信息 72

4．4．1连续随机变量集的平均互信息 72

4．4．2连续随机变量集平均互信息的性质 73

4．5离散集与连续集之间的互信息 75

4．5．1离散事件与连续事件之间的互信息 76

4．5．2离散集合与连续集合的平均互信息 76

本章小结 77

思考题 77

习题 77

第5章 无失真信源编码 80

5．1概述 80

5．1．1信源编码器 80

5．1．2信源编码的分类 81

5．1．3分组码 82

5．2定长码 83

5．2．1无失真编码条件 83

5．2．2信源序列分组定理 84

5．2．3定长码信源编码定理 86

5．3变长码 88

5．3．1异前置码的性质 88

5．3．2变长码信源编码定理 90

5．4哈夫曼编码 93

5．4．1二元哈夫曼编码 93

5．4．2多元哈夫曼编码 96

5．4．3马氏源的编码 97

5．5几种实用的编码方法 99

5．5．1算术编码 99

5．5．2游程编码 100

5．5．3L-Z编码 101

本章小结 101

思考题 102

习题 102

第6章 离散信道及其容量 105

6．1概述 105

6．1．1信道的分类 105

6．1．2离散信道的数学模型 106

6．1．3信道容量的定义 109

6．2单符号离散信道及其容量 109

6．2．1离散无噪信道的容量 109

6．2．2离散对称信道的容量 110

6．2．3一般离散信道的容量 112

6．3级联信道及其容量 116

6．4多维矢量信道及其容量 118

6．4．1多维矢量信道输入与输出的性质 118

6．4．2离散无记忆扩展信道及其容量 120

6．4．3并联信道及其容量 122

6．4．4和信道及其容量 122

6．5信道容量的迭代计算 123

本章小结 125

思考题 126

习题 126

第7章 有噪信道编码 129

7．1概述 129

7．1．1信道编码的基本概念 129

7．1．2判决与译码规则 130

7．1．3译码错误概率 131

7．2最佳判决与译码准则 132

7．2．1最大后验概率准则 132

7．2．2最大似然准则 133

7．3信道编码与最佳译码 134

7．3．1线性分组码 134

7．3．2序列最大似然译码 135

7．3．3几种简单的分组码 136

7．4费诺（Fano）不等式 137

7．4．1信道疑义度 137

7．4．2费诺（Fano）不等式 138

7．5有噪信道编码定理 139

7．5．1联合典型序列 140

7．5．2有噪信道编码定理 141

7．5．3无失真信源信道编码定理 143

7．6纠错编码技术简介 144

7．6．1线性分组码的编译码 144

7．6．2几种重要的分组码 148

7．6．3卷积码简介 149

7．7信道编码性能界限 150

7．7．1汉明球包界 150

7．7．2Varsharmov-Gilbert界 151

7．7．3Plotkin界 152

本章小结 153

思考题 153

习题 154

第8章 波形信道 159

8．1离散时间连续信道 159

8．1．1时间离散连续信道模型 159

8．1．2平稳无记忆连续信道 160

8．1．3多维矢量连续信道的性质 160

8．1．4离散时间连续信道的容量 160

8．2加性噪声信道与容量 161

8．2．1加性噪声信道的容量 161

8．2．2加性高斯噪声信道的容量 162

8．2．3一般加性噪声信道容量界 163

8．2．4并联加性高斯噪声信道的容量 164

8．3AWGN信道的容量 166

8．3．1加性高斯噪声波形信道 166

8．3．2波形信道的互信息与容量 167

8．3．3AWGN信道的容量 168

8．3．4高斯噪声信道编码定理 170

8．3．5功率利用率和频谱利用率的关系 171

8．4有色高斯噪声信道 173

8．4．1有色高斯噪声信道容量 173

8．4．2AWGN信道容量的进一步讨论 175

8．5数字调制系统的信道容量 176

本章小结 179

思考题 180

习题 180

第9章 信息率失真函数 183

9．1概述 183

9．1．1系统模型 184

9．1．2失真测度 184

9．2离散信源信息率失真函数 185

9．2．1信息率失真函数 185

9．2．2R（D）函数的性质 185

9．3限失真信源编码定理 188

9．3．1码率的压缩 188

9．3．2限失真信源编码定理 189

9．3．3限失真信源信道编码定理 190

9．4离散信源信息率失真函数的计算 190

9．4．1R（D）参量表示法求解 191

9．4．2R（D）求解过程归纳 192

9．4．3参量s的意义 193

9．5连续信源信息率失真函数 195

9．5．1信息率失真函数与性质 195

9．5．2R（D）函数的计算 195

9．5．3差值失真测度 196

9．6高斯信源的R（D）函数 197

9．6．1离散时间无记忆高斯信源 197

9．6．2独立并联高斯信源 199

9．7一般连续信源R（D）函数 201

9．8有损数据压缩技术简介 201

9．8．1量化 202

9．8．2预测编码 202

9．8．3子带编码 203

9．8．4变换编码 203

本章小结 204

思考题 205

习题 205

第10章 有约束信道及其编码 208

10．1标号图的性质 208

10．1．1标号图的基本概念 208

10．1．2标号图的变换 210

10．2有约束信道容量 211

10．2．1有约束信道容量的定义 211

10．2．2等时长符号有约束信道的容量 212

10．2．3不等时长符号无约束信道的容量 213

10．2．4不等时长符号有约束信道的容量 214

10．3有约束序列的性质 215

10．3．1信道对传输序列的约束 215

10．3．2游程长度受限序列（RLL） 215

10．3．3部分响应最大似然（PRML）序列 217

10．3．4直流平衡序列 218

10．3．5其他频域受限序列 220

10．4有约束信道编码定理 220

10．4．1编码器的描述 220

10．4．2有约束信道编码定理 221

10．4．3有限状态编码定理 221

10．4．4编码器性能指标 222

10．5有约束序列编码与应用 222

10．5．1块编码器 222

10．5．2实用直流平衡序列 223

10．5．3常用有约束序列编码及应用 225

本章小结 227

思考题 227

习题 227

第11章 网络信息论初步 230

11．1概述 230

11．2多址接入信道 231

11．2．1二址接入信道的容量 232

11．2．2不同多址方式下的接入信道容量分析 236

11．2．3多址接入信道的容量 238

11．3广播信道 238

11．3．1退化广播信道 239

11．3．2退化广播信道的容量区域 240

11．4相关信源编码 242

11．4．1典型的相关信源编码模型 243

11．4．2Slepian-Wolf相关信源编码定理 244

本章小结 247

思考题 248

习题 249

第12章 信息理论方法及其应用 250

12．1信源熵的估计 250

12．1．1离散信源序列熵的估计 251

12．1．2连续信源熵的估计 254

12．2最大熵原理 255

12．2．1最大熵原理的描述 255

12．2．2熵集中定理 258

12．2．3几种重要的最大熵分布 259

12．3最小交叉熵原理 261

12．3．1最小交叉熵原理 261

12．3．2交叉熵的性质 263

12．3．3最小交叉熵推断的性质 264

12．3．4交叉熵法 265

12．4信息理论方法的应用 265

12．4．1DNA序列的熵估计和压缩 265

12．4．2最大熵谱估计和最小交叉熵谱估计 267

12．4．3最大熵建模及其在自然语言处理中的应用 269

12．4．4最大熵原理在经济学中的应用 271

12．4．5信息理论方法应用展望 273

本章小结 273

思考题 274

习题 274

参考文献 276