应用信息论基础PDF电子书下载

第1章 信息论与信息论方法概述 1

1.1 信息、信息科学和信息论 1

1.2 信息论方法的应用及其取得的成果 3

1.3 信息论的形成与发展 7

1.3.1 通信技术的理论基础 7

1.3.2 统计数学的一个分支 11

1.3.3 信号与信息处理的一般理论基础 12

第2章 信息论的基本概念 14

2.1 离散熵 14

2.1.1 熵的定义 14

2.1.2 熵函数的性质 19

2.1.3 熵函数形式的唯一性 23

2.1.4 联合熵与条件熵 26

2.2 离散互信息 29

2.2.1 互信息的定义 29

2.2.2 多个随机变量下的互信息 31

2.2.3 互信息函数的性质 35

2.3 连续随机变量下的熵与互信息 38

2.3.1 连续随机变量下的微分熵 38

2.3.2 随机变量函数的微分熵 40

2.3.3 连续随机变量下的互信息 42

2.4 鉴别信息 44

2.4.1 鉴别信息的定义 44

2.4.2 Kullback 与香农两种信息量度之间的关系 47

2.4.3 鉴别信息的性质 51

2.4.4 鉴别信息函数形式的唯一性 57

2.5 对信息论基本概念的若干评注 70

习题 71

第3章 信源的熵率、冗余度与冗余度压缩编码 74

3.1 信源、信源模型与信源编码 74

3.1.1 信源 74

3.1.2 信源模型 75

3.1.3 信源编码 77

3.2 离散稳恒信源的熵率与冗余度 78

3.3 离散无记忆信源的渐近等同分割性与信源的定长编码定理 82

3.3.1 渐近等同分割性 82

3.3.2 定长编码定理 84

3.4 离散无记忆信源的变长编码 86

3.4.1 前缀码与 Kraft 定理 87

3.4.2 唯一可译码定理 89

3.5 变长编码的平均码长与最优编码 90

3.5.1 变长编码的平均码长 90

3.5.2 最优编码 92

3.6 离散无记忆信源的变长树码 95

3.6.1 算术码 95

3.6.2 算术码的存在性 97

3.7 离散马尔可夫信源的熵率 100

3.7.1 马尔可夫链的基本概念 100

3.7.2 离散马尔可夫信源熵率的计算 102

3.8 离散马尔可夫信源的编码定理与最优编码 105

习题 108

第4章 信道、信道容量与信道的有效利用 110

4.1 信道、信道模型与信道分类 110

4.1.1 信道 110

4.1.2 信道模型与信道分类 111

4.2 离散无记忆信道及其信道容量 112

4.3 离散无记忆信道容量的计算 116

4.3.1 信道容量解的充要条件 116

4.3.2 某些简单情况下信道容量的解 119

4.3.3 一般情况下信道容量的解 122

4.3.4 信道容量的迭代解法 124

4.4 级联信道和并联信道的信道容量 125

4.4.1 级联信道 125

4.4.2 并联信道 128

4.5 信道达到充分利用时输入输出字母概率分布的唯一性 131

4.6 连续信道的信道容量 135

4.6.1 无记忆加性噪声信道的信道容量费用函数 136

4.6.2 无记忆加性高斯噪声信道的信道容量费用函数 137

4.6.3 一般无记忆加性噪声信道的信道容量费用函数的界 141

4.6.4 无记忆加性高斯噪声信道的级联和并联 142

4.7 模拟信道的信道容量 145

4.7.1 模拟随机信号的正交展开 145

4.7.2 模拟信道下的信道容量费用函数及其计算 148

4.8 限带加性白色高斯噪声信道的极限性能及其与传输要求的匹配 156

4.8.1 限带加性白色高斯噪声信道的性能及其极限 157

4.8.2 信道与信息传输要求的匹配 160

4.9 限带模拟信道的数字化 163

4.10 蜂窝移动通信条件下信道的有效利用 165

4.10.1 蜂窝移动通信与系统的频谱利用效率 165

4.10.2 不同接入方法下蜂窝移动通信系统的频谱利用效率及其比较 167

习题 171

第5章 信道编码 173

5.1 信道编码概述 173

5.2 信道译码准则 176

5.3 联合典型序列与联合渐近等同分割定理 179

5.4 信道编码定理 181

5.5 信道编译码方法的最初范例——汉明码 183

5.6 分组码之一：线性码 185

5.6.1 线性码的定义、编码与生成多项式 185

5.6.2 线性码的伴随式与伴随式译码 187

5.7 分组码之二：循环码 190

5.7.1 循环码的定义 191

5.7.2 循环码的编码与生成多项式 191

5.7.3 循环码的伴随式与译码原理 193

5.8 树码、网格码与卷积码 195

5.9 关于信道编码理论的若干评注 199

习题 200

第6章 信源的信息速率失真函数与熵压缩编码 203

6.1 熵压缩编码和信源的信息速率失真函数 204

6.1.1 熵压缩编码 204

6.1.2 离散无记忆信源的熵压缩分组编码及信源的信息速率失真函数 204

6.2 信息速率失真函数的性质 206

6.3 离散无记忆信源下的信息速率失真函数的计算 211

6.3.1 信息速率失真函数解的充要条件及参数方程 211

6.3.2 求解信息速率失真函数的迭代算法 217

6.3.3 信息速率失真函数解的唯一性问题 220

6.3.4 乘积信源的信息速率失真函数 222

6.4 连续无记忆信源的信息速率失真函数 224

6.4.1 连续无记忆信源信息速率失真函数的定义及其解的充要条件 224

6.4.2 差值失真量度下连续无记忆信源信息速率失真函数的计算 226

6.5 标量量化 233

6.5.1 均匀量化 235

6.5.2 Lloyd-Max 算法 235

6.6 有记忆连续信源与模拟信源的信息速率失真函数 236

6.6.1 有记忆连续信源的信息速率失真函数的定义 236

6.6.2 模拟信源的信息速率失真函数的定义 237

6.6.3 高斯有记忆连续信源的信息速率失真函数 237

6.6.4 高斯模拟信源的信息速率失真函数 240

6.7 变换编码——实用的熵压缩分组编码 242

6.8 预测编码——实用的熵压缩树码 248

6.8.1 最小均方误差预测器 249

6.8.2 最小平均绝对误差预测器 249

6.8.3 最大零误差概率预测器 249

习题 251

第7章 最大熵原理与最小鉴别信息原理 254

7.1 非适定问题与最大熵和最小鉴别信息原理 254

7.1.1 非适定问题的提出 254

7.1.2 最大熵原理与最小鉴别信息原理 255

7.2 最大熵原理的合理性 258

7.3 最小鉴别信息原理与最大熵原理的公理化推导 261

7.3.1 最小鉴别信息原理的推导 261

7.3.2 最大熵原理的推导 269

7.4 最小失真意义下的最大熵原理与最小鉴别信息原理 269

7.4.1 方向正交与投影失真 270

7.4.2 投影失真的一般形式 272

7.4.3 最小失真准则与熵准则 274

7.5 最大熵与最小鉴别信息原理的应用及其解的分布 276

7.5.1 最大熵与最小鉴别信息原理的应用 276

7.5.2 最大熵分布与最小鉴别信息分布 281

习题 282

第8章 组合信息、算法信息与通用编码 284

8.1 信源统计特性不确定时的信源编码问题 284

8.1.1 统计特性失配时统计编码的性能 285

8.1.2 自适应统计编码 285

8.2 基于组合的信息量度与通用编码 287

8.2.1 基于组合的信息量度 287

8.2.2 通用编码 288

8.2.3 Fitingof 通用编码的性能 289

8.3 算法信息量 292

8.3.1 单一事件或数值下的信息量度问题 292

8.3.2 Kolmogorov 算法熵 293

8.4 二元字符序列的算法熵 294

8.5 算法熵的不可计算性 296

8.6 有限状态压缩编码器 298

8.7 Lewpel-Ziv 编码 302

8.8 LZ 编码压缩比与香农熵 305

习题 306

第9章 通信网中的信源编码与信道容量 309

9.1 概述 309

9.2 反馈信道 314

9.3 多个随机变量下的联合典型序列 316

9.4 多源接入信道 320

9.4.1 多源接入信道的容量 320

9.4.2 相关信源输入下的多源接入信道 324

9.5 高斯多源接入信道 324

9.5.1 高斯多源接入信道的容量域 324

9.5.2 对高斯多源接入信道容量域的讨论 326

9.5.3 多源接入信道容量域与多址方法的关系 327

9.6 分布信源编码 329

习题 333

参考文献 335

索引 336