信息论简明教程PDF电子书下载

第1章 绪论 1

1.1 信息的概念及香农信息论的发展史 1

1.2 香农信息论的研究对象、目的和内容 3

1.3 信息论的发展 4

1.4 如何学好信息论 5

第2章 数学基础回顾 6

2.1 离散概率论 6

2.1.1 随机事件的概率 6

2.1.2 条件概率、全概率公式与贝叶斯公式 7

2.1.3 离散型随机变量及其分布 9

2.1.4 二维离散型随机变量的联合分布、边缘分布和条件分布 10

2.1.5 离散型随机变量函数的分布 14

2.1.6 离散型随机变量的数字特征 15

2.2 随机过程初步 16

2.2.1 随机过程与随机序列 16

2.2.2 马尔可夫链 17

第3章 信息的度量 20

3.1 自信息、平均自信息和熵 20

3.1.1 单个随机事件的自信息 20

3.1.2 单个随机事件集合的平均自信息（随机变量的信息熵） 21

3.1.3 熵函数的性质 22

3.2 联合熵与条件熵 24

3.2.1 两个随机事件的联合自信息 24

3.2.2 两个随机事件集合（二维随机变量）的联合熵 25

3.2.3 两个随机事件的条件自信息 26

3.2.4 两个随机事件集合（二维随机变量）的条件熵 26

3.3 互信息与平均互信息 28

3.3.1 两个随机事件的互信息 28

3.3.2 两个随机事件集合（二维随机变量）的平均互信息 29

3.3.3 平均互信息的性质 30

3.4 平均自信息、联合熵、条件熵和平均互信息的数量关系 31

3.4.1 数量关系总结 31

3.4.2 数量关系的证明 32

3.4.3 熵的链规则 33

3.5 本章小结 34

习题3 34

第4章 信源与信源熵 38

4.1 信源的分类及其数学模型 38

4.2 离散单符号信源 39

4.3 离散多符号信源 40

4.3.1 离散平稳无记忆信源 41

4.3.2 离散平稳有记忆信源 42

4.3.3 马尔可夫信源 44

4.3.4 信源的相关性和剩余度 48

4.4 连续信源简介 51

4.5 本章小结 52

习题4 53

第5章 信道与信道容量 57

5.1 信道的分类与描述 57

5.1.1 信道的分类 57

5.1.2 信道描述 58

5.2 离散单符号信道及其信道容量 59

5.2.1 离散单符号信道的数学模型 59

5.2.2 信道容量的概念 60

5.2.3 无损信道和无噪信道的信道容量 62

5.2.4 离散对称信道的信道容量 63

5.2.5 一般离散信道的信道容量与信道容量定理 65

5.3 离散多符号信道及其信道容量 66

5.3.1 离散多符号无记忆信道的数学模型 66

5.3.2 离散多符号无记忆信道的信道容量 67

5.4 组合信道及其信道容量 69

5.4.1 独立并联信道 69

5.4.2 串联信道 70

5.5 连续信道及其信道容量介绍 71

5.6 本章小结 72

习题5 72

第6章 信源编码初步 77

6.1 信源编码的概念与分类 77

6.1.1 信源编码的概念 77

6.1.2 信源编码分类 79

6.2 无失真信源编码 80

6.2.1 定长码与定长编码定理 80

6.2.2 变长码与变长编码定理 83

6.2.3 最佳变长编码——霍夫曼编码 89

6.2.4 其他无失真信源编码介绍 91

6.3 本章小结 91

习题6 92

第7章 信道编码初步 95

7.1 信道编码的相关概念 95

7.2 有噪信道编码定理及其逆定理 98

7.3 信道编码介绍 98

7.3.1 线性分组码 98

7.3.2 卷积码 103

7.3.3 Turbo码 104

7.3.4 LDPC码 105

7.4 本章小结 105

习题7 106

附录A 各章习题答案 107

A.1 第3章习题答案 107

A.2 第4章习题答案 119

A.3 第5章习题答案 134

A.4 第6章习题答案 146

A.5 第7章习题答案 157

附录B Jensen不等式的证明 160

附录C 熵的极值性的证明 161

附录D 互信息的凸函数性 162

附录E 霍夫曼编码的编程实现 165

参考文献 167