信息理论基础PDF电子书下载

第1章 绪论 1

1.1 信息传输中的若干问题 1

1.2 信息论研究内容 2

1.3 信息论基本概念 3

1.3.1 信息的定义 3

1.3.2 信息的特殊性质 3

1.3.3 自然信息、社会信息和知识信息 4

1.3.4 信息、消息、信号的比较 4

1.4 通信系统模型 5

1.5 信息论创立的意义 7

第2章 信息的统计度量 8

2.1 事件的自信息量 8

2.2 互信息量 12

2.3 离散集的平均自信息量——熵 13

2.3.1 熵的定义 13

2.3.2 熵的几个性质 15

2.4 联合熵、条件熵、平均互信息 19

2.4.1 联合熵（共熵） 19

2.4.2 条件熵 19

2.4.3 平均互信息 20

2.4.4 各种熵之间的关系 22

2.5 小结及推广 27

习题2 28

第3章 离散信源 31

3.1 随机过程简介 31

3.1.1 随机过程的概念 31

3.1.2 随机过程分类 32

3.1.3 随机过程的统计描述 32

3.1.4 马尔可夫链 32

3.1.5 齐次马尔可夫链 33

3.1.6 遍历性 37

3.2 信源的数学模型 40

3.2.1 信源的直观认识 40

3.2.2 如何建立信源的数学模型 40

3.3 离散无记忆信源 41

3.3.1 离散无记忆信源定义 41

3.3.2 离散无记忆信源的N次扩展信源 43

3.4 离散有记忆信源 46

3.4.1 关于信源的记忆性 46

3.4.2 离散平稳信源 47

3.4.3 用马尔可夫链建模 50

3.4.4 平稳遍历的m阶马尔可夫信源的熵率计算 51

3.5 信源相关性和冗余度 53

习题3 54

第4章 无失真信源编码 57

4.1 编码器 57

4.2 码的基本类型 58

4.2.1 定长码和变长码 58

4.2.2 N次扩展码 58

4.2.3 奇异码和非奇异码 59

4.2.4 唯一可译性 59

4.2.5 即时码 60

4.3 定长码 61

4.3.1 唯一可译码的码长 61

4.3.2 定长码编码定理 63

4.3.3 编码效率 66

4.4 变长码 68

4.4.1 克拉夫特不等式和麦克米伦不等式 68

4.4.2 唯一可译码判别准则 70

4.4.3 变长码编码定理 71

4.4.4 编码理论小结 77

4.5 变长码的编码方法 77

4.5.1 香农编码方法 77

4.5.2 费诺码 79

4.5.3 霍夫曼码 80

4.5.4 游程编码 83

习题4 85

第5章 信道及其容量 87

5.1 信道的基本概念及分类 87

5.1.1 信道概念 87

5.1.2 信道的分类 88

5.2 离散信道的数学模型 88

5.2.1 离散信道的基本数学描述 88

5.2.2 离散无记忆信道 89

5.3 信道疑义度和平均互信息 92

5.4 信道容量及其一般计算方法 96

5.4.1 信道容量定义 96

5.4.2 几类特殊信道及其信道容量的计算 97

5.4.3 几种对称离散信道及其信道容量 99

5.4.4 信道容量一般计算方法 103

5.5 扩展信道及其信道容量 113

5.5.1 N长随机序列的平均互信息 113

5.5.2 N次扩展信道的信道容量 117

5.6 信道的组合及其信道容量 117

5.6.1 串联信道 118

5.6.2 独立并联信道 122

5.7 信源与信道的匹配 123

5.8 离散无记忆信道容量的迭代算法 123

习题5 129

第6章 信道编码 133

6.1 信道编码基本概念 133

6.1.1 信道编码基本模式 133

6.1.2 译码规则和错误概率 134

6.1.3 平均错误概率 135

6.2 简单重复编码 136

6.2.1 简单重复编码 136

6.2.2 汉明距离 139

6.3 线性分组码 140

6.3.1 线性分组码 140

6.3.2 线性分组码的纠检错能力 143

6.3.3 线性分组码的几种关系分析 145

6.4 有噪信道编码定理 146

6.5 其他纠错码分类简介 151

习题6 151

第7章 信息论在密码学中的应用 154

7.1 一次一密的信息论解释 154

7.2 ［1,3］型钟控序列的信息论分析 156

7.3 一个二次多项式混沌系统的均匀化及其熵分析 169

7.3.1 一个二次多项式混沌系统及其概率密度求解 169

7.3.2 二次多项式混沌系统的均匀化 172

7.3.3 均匀化后的混沌系统的性能分析 173

参考文献 178