当前位置:首页 > 其他书籍
离散信息论基础
离散信息论基础

离散信息论基础PDF电子书下载

其他书籍

  • 电子书积分:9 积分如何计算积分?
  • 作 者:范九伦主编
  • 出 版 社:北京市:北京大学出版社
  • 出版年份:2010
  • ISBN:9787301173824
  • 页数:198 页
图书介绍:本教材从离散概率入手,对离散信息论的基本知识进行介绍,较为系统地给出了离散信息的度量、数据压缩、离散信源、数据纠错、离散信道、数据保密、算法信息论与通用信源编码、微分熵与最大熵原理等内容。为拓宽读者视野,培养学习兴趣,提高人文素养,教材融入了一些历史知识,还补充了信息论实验内容。
《离散信息论基础》目录

第1章 绪论 1

1.1 基本概念 2

1.1.1 信息的含义 2

1.1.2 信息的表达 3

1.1.3 信息的处理 6

1.2 信息论概览 7

1.2.1 Shannon与信息论 7

1.2.2 通信系统的数学模型 8

本章小结 9

习题 9

第2章 离散信息的度量 10

2.1 基本概念 11

2.1.1 离散熵的定义 11

2.1.2 联合熵与条件熵 16

2.1.3 相对熵与互信息 21

2.2 离散熵的性质 25

2.2.1 离散熵的基本性质 25

2.2.2 链式法则 29

2.2.3 有关离散熵的不等式 31

2.3 离散熵的形式唯一性 34

本章小结 37

习题 37

第3章 数据压缩 39

3.1 基本概念 40

3.1.1 语言与编码 40

3.1.2 唯一可译码 45

3.1.3 即时码与前缀码 48

3.2 数据压缩的性质 50

3.2.1 前缀码的码长约束 50

3.2.2 唯一可译码的码长约束 53

3.2.3 最佳码 55

3.3 典型编码 57

3.3.1 Huffman编码 57

3.3.2 Fano编码 60

3.3.3 Shannon-Fano-Elias编码 61

本章小结 65

习题 65

第4章 离散信源 67

4.1 基本概念 68

4.1.1 离散信源模型 68

4.1.2 Markov信源 71

4.1.3 Markov链 74

4.2 信源编码 78

4.2.1 随机变量扩展 78

4.2.2 变长信源编码定理 80

4.2.3 熵率 83

4.3 渐近均分性 87

4.3.1 典型集 87

4.3.2 信源编码定理 89

本章小结 93

习题 93

第5章 数据纠错 95

5.1 基本概念 96

5.1.1 离散信道模型 96

5.1.2 典型信道 100

5.1.3 信道扩展 102

5.2 信道纠错 105

5.2.1 译码准则 105

5.2.2 错误概率估计 108

5.2.3 分组码 110

5.3 线性分组码 113

5.3.1 码字距离 113

5.3.2 纠错能力 115

5.3.3 Hamming码 117

本章小结 120

习题 120

第6章 离散信道 122

6.1 基本概念 123

6.1.1 互信息 123

6.1.2 特殊信道的容量 127

6.1.3 一般信道的容量 131

6.2 数据处理 134

6.2.1 码率 134

6.2.2 数据处理不等式 136

6.2.3 信源信道定理 139

6.3 信道编码 142

6.3.1 联合典型集 142

6.3.2 信道编码定理 143

6.3.3 信道编码逆定理 145

本章小结 147

习题 147

第7章 数据保密 149

7.1 信息的保密传输 150

7.1.1 密码学简介 150

7.1.2 保密系统模型 152

7.1.3 几种典型的密码体制 153

7.2 密码体制的信息论分析 156

7.2.1 完全保密性 156

7.2.2 唯一解距离 158

本章小结 161

习题 161

第8章 算法信息论与通用信源编码 162

8.1 基本概念 163

8.1.1 统计编码 163

8.1.2 自适应编码 165

8.2 描述复杂性 169

8.2.1 Kolmogorov复杂度 169

8.2.2 通用概率 171

8.3 通用信源编码 174

8.3.1 算术编码 174

8.3.2 字典方法 179

本章小结 183

习题 183

第9章 微分熵与最大熵原理 185

9.1 基本概念 186

9.1.1 微分熵 186

9.1.2 信息不等式 188

9.2 信息量最大化 189

9.2.1 最大熵问题 189

9.2.2 最大熵分布 191

本章小结 192

习题 192

信息论实验 193

参考文献 196

返回顶部