信息论基础及应用PDF电子书下载

第1章 概论 1

1.1 通信与信息的一般概念 1

1.1.1 信息、消息和信号 1

1.1.2 Shannon信息 3

1.1.3 通信系统模型 4

1.2 信息论研究的主要内容和意义 7

1.3 Shannon信息论的观点与方法 9

1.4 信息理论与信息科学的发展历程 10

1.5 信息的再认识 14

1.5.1 信息的特性 14

1.5.2 信息的其他定义 16

1.5.3 信息的分类 17

科学家小传——C.E.Shannon 18

思考题 19

第2章 信源及其信息的统计度量 20

2.1 信源的数学模型和分类 20

2.1.1 概率论符号约定和概率知识基础 20

2.1.2 信源的数学模型 22

2.1.3 信源的分类 23

2.2 随机事件的信息 27

2.2.1 随机事件的自信息和条件自信息 27

2.2.2 随机事件的互信息和条件互信息 32

2.3 离散信源的熵 36

2.3.1 信源熵 36

2.3.2 条件熵 38

2.3.3 联合熵（共熵） 39

2.3.4 熵函数的性质 40

2.3.5 加权熵的概念及基本性质 46

2.4 离散信源的平均互信息 48

2.4.1 平均互信息 48

2.4.2 平均互信息的性质 50

2.4.3 各类熵之间的关系 53

2.5 离散序列信源的熵 55

2.5.1 离散无记忆序列信源的熵 55

2.5.2 离散有记忆序列信源的熵 57

2.5.3 马尔可夫信源的熵 62

2.6 连续信源熵和互信息 69

2.6.1 连续信源的表述 69

2.6.2 基本连续信源的熵 70

2.6.3 多维连续信源和波形信源的熵 72

2.6.4 连续信源熵的性质和最大熵定理 74

2.7 冗余度和熵功率 75

2.7.1 离散信源的冗余度和自然语言的熵 75

2.7.2 连续信源的熵功率 79

思考题 80

习题 80

第3章 信道及其容量 86

3.1 信道的数学模型和分类 86

3.1.1 信道的分类 87

3.1.2 离散信道的数学模型 90

3.1.3 连续信道的数学模型 92

3.2 信息传输率与信道容量 94

3.2.1 信道疑义度、噪声熵和信息传输率 94

3.2.2 信道容量的定义 96

3.3 离散信道的信道容量 96

3.3.1 特殊离散信道的信道容量 96

3.3.2 离散对称信道的信道容量 99

3.3.3 离散准对称信道的信道容量 101

3.3.4 一般离散信道的信道容量 102

3.4 离散序列信道的数学模型及其信道容量 107

3.4.1 离散序列信道的数学模型 107

3.4.2 离散序列信道的信道容量 109

3.5 组合信道的信道容量 111

3.5.1 串联信道及其信道容量和数据处理定理 112

3.5.2 并联信道及其信道容量 115

3.6 连续信道及其信道容量 116

3.6.1 单符号高斯加性信道 117

3.6.2 限带高斯白噪声加性波形信道 118

3.7 信源与信道的匹配 121

思考题 122

习题 123

第4章 无失真信源编码 127

4.1 信源编码的基本概念 127

4.1.1 信源编码器 127

4.1.2 信源编码的基本码型 128

4.1.3 平均码长和编码效率 131

4.1.4 信源编码的树图表示 133

4.1.5 Kraft不等式 135

4.1.6 唯一可译变长码的判定法 137

4.2 等长编码和等长信源编码定理 139

4.2.1 等长编码 139

4.2.2 等长信源编码定理 141

4.3 变长信源编码定理 143

4.4 变长编码方法 149

4.4.1 Shannon编码 149

4.4.2 Fano编码 150

4.4.3 Huffman编码 152

4.4.4 游程编码 158

4.4.5 数字传真编码 160

4.4.6 算术编码 164

4.5 字典码 169

4.5.1 LZ-77编码算法 170

4.5.2 LZ-78编码算法 172

4.5.3 LZW编码算法 174

科学家小传——R.M.Fano 176

科学家小传——D.A.Huffman 176

思考题 177

习题 177

第5章 信息率失真函数和限失真信源编码 181

5.1 失真测度和信息率失真函数 182

5.1.1 系统模型和失真测度 182

5.1.2 信息率失真函数的定义 186

5.1.3 信息率失真函数的性质 187

5.2 离散信源的信息率失真函数的计算 191

5.2.1 利用信源的对称性计算信息率失真函数 192

5.2.2 离散信源信息率失真函数的参量表达式 194

5.3 连续信源的信息率失真函数 198

5.3.1 连续信源的信息率失真函数与性质 198

5.3.2 高斯信源的信息率失真函数 199

5.3.3 连续信源的信息率失真函数的界 201

5.4 限失真信源编码定理 202

5.5 限失真信源编码简介 203

5.5.1 量化编码 203

5.5.2 预测编码 207

5.5.3 变换编码 208

科学家小传——A.Lempel 211

科学家小传——J.Ziv 211

思考题 212

习题 212

第6章 信道编码 214

6.1 译码规则和信道编码定理 214

6.1.1 错误概率与译码规则 214

6.1.2 有噪信道编码定理 219

6.2 差错控制的基本形式和信道编码的分类 220

6.2.1 差错控制的基本形式 220

6.2.2 信道编码的分类 222

6.3 信道编码的基本数学知识 224

6.3.1 群、环和域的基本概念 224

6.3.2 有限域上的多项式 228

6.3.3 多项式同余类环 229

6.3.4 有限域的结构 230

6.3.5 线性空间 234

6.4 线性分组码 236

6.4.1 分组码的基本概念 237

6.4.2 常用分组码介绍 240

6.4.3 生成矩阵、一致校验矩阵和对偶码 242

6.4.4 伴随式及标准阵列译码 245

6.4.5 Hamming码 248

6.4.6 由已知码构造新码的方法 249

6.5 循环码 251

6.5.1 循环码的基本概念 252

6.5.2 循环码的生成多项式、生成矩阵和编码原理 254

6.5.3 循环码的一致校验多项式和校验矩阵 257

6.5.4 循环Hamming码和极长码 259

6.5.5 用多项式的根定义循环码 260

6.5.6 循环码的编码电路 262

6.5.7 循环码的译码原理和译码电路 265

6.5.8 BCH码和RS码 269

6.6 卷积码 275

6.6.1 卷积码的基本概念 275

6.6.2 卷积码的描述方法 278

6.6.3 卷积码的Viterbi译码 284

科学家小传——R.W.Hamming 289

思考题 290

习题 290

参考文献 294