信息论基础PDF电子书下载

第1章 概论 1

1.1 信息论的基本内容——信息理论所关注的信息特征 1

1.2 信息论简史 4

1.3 关于控制论、信息论与系统论 5

1.4 信息论的应用 6

1.5 有关的常用不等式 8

习题1 10

第2章 信息的度量与熵 11

2.1 自信息 11

2.2 熵、条件熵、联合熵及其性质 15

2.3 互信息与相对熵 21

2.4 凸函数与熵的凸性 27

2.5 微分熵 33

2.5.1 连续信源的微分熵 34

2.5.2 联合微分熵、条件微分熵 36

2.5.3 连续信源的相对熵与互信息 40

2.5.4 具有最大微分熵的连续信源——最大熵原理 41

2.5.5 信息功率 49

习题2 52

第3章 随机过程的信息量与熵率、渐近等分性质 58

3.1 随机过程的基本概念 58

3.2 熵率 67

3.3 冗余度与相对冗余度 69

3.4 数据处理不等式 71

3.5 平稳Gauss随机过程的熵率 73

3.6 渐近等分性质 76

3.7 渐近等分性质在数据压缩中的应用——信源编码定理 79

3.7.1 无记忆信源的等长编码定理 80

3.7.2 一般离散信源的等长编码定理 81

习题3 84

第4章 信源编码 88

4.1 等长编码 88

4.2 变长编码 91

4.2.1 Kraft不等式 93

4.2.2 离散信源的变长编码定理 96

4.3 Huffman编码 100

4.4 算术码 107

4.4.1 Shannon码 107

4.4.2 Shannon-Fano-Elias码 109

4.4.3 算术码 111

4.5 通用信源编码——LZ码 116

习题4 118

第5章 通信信道与信道容量 122

5.1 离散无记忆信道与信道容量 122

5.2 信道容量的计算 126

5.2.1 按定义计算的方法 126

5.2.2 拉格朗日乘子法 132

5.2.3 特征方程法 138

5.2.4 信道容量的迭代算法 146

5.3 信道的组合 149

5.3.1 积信道或平行组合信道 149

5.3.2 串联信道或级联信道 151

5.3.3 和信道或并列信道 154

5.4 信道编码定理 158

5.4.1 几个有关概念 158

5.4.2 联合典型序列 159

5.4.3 信道编码定理 161

5.5 带反馈信道的信道容量 168

5.6 联合信源-信道编码定理 170

5.7 信道编码实例 172

5.8 Gauss信道 173

5.8.1 加性噪声的信道模型与信道容量 173

5.8.2 Gauss信道编码定理 181

习题5 184

第6章 信息几何学 194

6.1 微分流形 194

6.1.1 切向量与切空间 197

6.1.2 Riemann度量 199

6.1.3 仿射联络 200

6.2 概率分布可作为流形 201

6.2.1 概率分布族构成一般空间 202

6.2.2 Fisher度量 203

6.2.3 α-联络 208

6.2.4 对偶联络与对偶平坦空间 211

6.3 距离与伪距离 215

6.3.1 散度 215

6.3.2 概率分布流形S的测地线 216

6.3.3 典型散度与勾股定理 218

6.4 时间序列的信息几何学 220

6.4.1 系统空间L的Fisher度量与α-联络 221

6.4.2 系统空间L的α-散度 222

习题6 224

习题提示与答案 227

参考文献 238