信息论、编码及应用PDF电子书下载

第1章 绪论 1

1.1 信息的一般含义 1

1.2 信息论的基本思路 3

1.3 信息论研究的对象和内容 6

1.4 保密通信的基本理论及其应用 8

1.5 信息论的划分范畴 9

1.6 信息论的发展简史 10

习题1 11

第2章 离散信源及其信息测度 12

2.1 单符号离散信源的数学模型 12

2.2 自信息和信息函数 13

2.3 信息熵 14

2.3.1 信息熵的数学表达式 14

2.3.2 信息熵的物理含义 15

2.4 信息熵的基本性质 16

2.4.1 信息熵及其熵函数表示 16

2.4.2 对称性 16

2.4.3 非负性 17

2.4.4 确定性 17

2.4.5 连续性 17

2.4.6 扩展性 18

2.4.7 归一化联合概率和条件概率及其推广形式 18

2.4.8 强可加性 20

2.4.9 可加性 21

2.5 联合熵和条件熵的分解与计算 21

2.6 信息熵的解析性质 26

2.6.1 ∩型凸函数及其不等式 26

2.6.2 ∪型凸函数及其不等式 27

2.6.3 熵函数的极值性 27

2.6.4 熵函数的上凸性 28

2.7 离散信源的最大熵值 29

2.8 多符号离散平稳信源 30

2.9 多符号离散平稳无记忆信源及其信息熵 31

2.9.1 信源XN的信源空间 31

2.9.2 信源XN的联合熵 32

2.10 多符号离散平稳有记忆信源及其信息熵 34

2.10.1 多符号离散平稳有记忆信源及其完备性 34

2.10.2 多符号离散平稳有记忆信源的联合熵 34

2.10.3 多符号离散平稳有记忆信源的条件熵 35

2.10.4 多符号离散平稳有记忆信源的极限熵及其性质 38

2.11 信源的相关性与冗余度 40

附录2-1 熵函数的上凸性证明的另外两种方法 41

习题2 42

第3章 离散信道及其信道容量 44

3.1 单符号离散信道的数学模型 44

3.2 单符号的互信息量 47

3.3 后验概率与单符号互信息量关系的进一步讨论 50

3.4 平均互信息、损失熵（疑义度）和噪声熵 51

3.5 平均互信息的特性 54

3.5.1 平均互信息的非负性 54

3.5.2 平均互信息的极值性 55

3.5.3 平均互信息的对称性（交互性） 55

3.5.4 平均互信息的凸函数性 55

3.6 单符号离散信道的信道容量 59

3.6.1 信道容量的定义 59

3.6.2 信道容量的一般计算方法 60

3.6.3 无噪无损离散信道及其信道容量 61

3.6.4 有噪无损离散信道及其信道容量 63

3.6.5 无噪有损离散信道及其信道容量 64

3.6.6 对称离散信道及其信道容量 66

3.6.7 准对称离散信道及其信道容量 69

3.6.8 一般离散信道的信道容量迭代计算方法 70

3.7 多符号离散信道的数学模型 73

3.8 单符号离散无记忆的N次扩展信道 74

3.9 扩展信道的信息传输特性 77

3.10 平均互信息量的不增性与数据处理定理 80

3.11 信源与信道的匹配 86

附录3-1 定理3-1的证明 87

附录3-2 定理3-2的证明 88

附录3-3 式（3-82）的证明 90

附录3-4 式（3-86）的证明 91

附录3-5 定理3-5的物理意义解释 92

习题3 93

第4章 连续信源与连续信道 96

4.1 一维连续随机变量的离散化及其差熵 96

4.1.1 连续信源空间的数学模型 96

4.1.2 连续信源的离散化及其差熵 97

4.2 N维连续随机变量的差熵 100

4.2.1 N维联合差熵 100

4.2.2 N维条件差熵 100

4.3 平稳随机过程的N维和无穷维差熵 101

4.4 两种特殊连续信源的差熵 102

4.4.1 一维均匀分布连续信源的差熵 102

4.4.2 N维均匀分布连续信源的差熵 102

4.4.3 一维高斯分布连续信源的差熵 103

4.4.4 N维高斯分布连续信源的差熵 104

4.5 差熵的基本性质 105

4.6 差熵的极值性与上凸性 106

4.6.1 差熵的极值性 106

4.6.2 差熵的上凸性 107

4.7 最大差熵定理 108

4.7.1 峰值功率受限条件下连续信源的最大差熵定理 108

4.7.2 平均功率受限条件下连续信源的最大差熵定理 109

4.8 差熵的变换 110

4.8.1 概率守恒和概率密度的坐标变换 112

4.8.2 差熵的坐标变换 114

4.9 连续信道的平均互信息及其上凸性和极值性 115

4.9.1 平均互信息的非负性 116

4.9.2 平均互信息的上凸性 116

4.9.3 平均互信息的极值性 117

4.10 平均互信息的不变性与不增性 118

4.10.1 平均互信息的不变性 118

4.10.2 平均互信息的不增性 119

4.11 高斯随机变量加性连续信道及其信道容量 120

4.12 高斯随机过程加性连续信道及其信道容量 122

4.13 香农公式及其应用的有关问题 125

习题4 126

第5章 无失真信源编码和有噪信道编码简介 128

5.1 单义可译定理 128

5.2 平均码长界限定理 131

5.3 无失真信源编码定理 133

5.4 霍夫曼（Huffman）编码 135

5.5 有噪信道的译码和编码 140

5.5.1 译码规则 141

5.5.2 平均错误译码概率 142

5.5.3 最大后验概率译码准则 142

5.5.4 最大似然译码准则 143

5.5.5 信道编码与最小平均错误译码概率 145

5.5.6 有噪离散信道编码定理 146

习题5 147

第6章 保密通信的基本概念与方法 148

6.1 密码体制 148

6.1.1 换位与代替密码体制 148

6.1.2 序列与分组密码体制 148

6.1.3 对称与非对称密钥密码体制 149

6.2 保密通信的数学理论 149

6.2.1 数论 150

6.2.2 信息熵与保密通信的本质联系 152

6.2.3 复杂度理论 154

6.3 密码破译 154

6.3.1 密码破译概述 154

6.3.2 密码破译规律 155

6.3.3 密码破译方式 156

6.3.4 密码破译方法 156

6.3.5 密码破译步骤 157

6.4 Shannon保密理论 157

6.4.1 理论保密体制 157

6.4.2 实际保密体制 157

6.4.3 密码系统的评测 158

习题6 158

第7章 数字图像加密 159

7.1 混沌映射与密码学的联系 159

7.1.1 从分组密码的定义比较密码变换与混沌映射的关系 160

7.1.2 从分组密码的设计原理比较密码变换与混沌映射的关系 161

7.1.3 从分组密码的整体结构比较密码变换与混沌映射的关系 162

7.2 混沌分组密码的构造方法 163

7.2.1 混沌映射数字化带来的性能下降 163

7.2.2 混沌映射的选择 165

7.3 基于二维可逆映射的图像分组加密方案 167

7.3.1 已有图像加密算法回顾 167

7.3.2 一类基于二维可逆混沌映射的图像分组加密方案 168

7.3.3 混沌猫映射 169

7.3.4 猫映射的离散化 170

7.3.5 基于混沌猫映射的图像加密方法 170

7.3.6 安全性能分析 175

7.4 图像分组加密程序 177

习题7 182

参考文献 183