信息论PDF电子书下载

第一章 绪论 1

1-1 信息论的形成和发展 1

1-2 通信系统模型 3

1-3 早期关于信息的度量 7

第二章 信息量 11

2-1 离散无记忆信源的信息量 11

2-2 熵函数的代数性质 14

2-3 熵函数的解析性质 20

2-4 互信息(mutual Information) 24

2-5 数据处理中信息的变化(信息不增性原理) 27

2-6 平稳随机序列的熵 29

2-7 冗余度 33

2-8 连续信源的信息量 34

2-9 最大熵定理 40

第三章 马尔可夫信源 48

3-1 马尔可夫信源 48

3-2 正规马尔可夫信源 52

3-3 各态历经的马尔可夫信源 58

3-4 一般马尔可夫信源与其次数 62

3-5 马尔可夫信源的熵 68

3-6 伴随信源 70

3-7 马尔可夫信源的扩展 74

3-8 语言模型 80

第四章 信源编码 85

4-1 信源编码简介 85

4-2 编码的定义 87

4-3 单义码存在定理 89

4-4 最佳编码 96

4-5 最佳编码与译码的技术设备 100

4-6 香农与费诺编码法 103

4-7 离散信源变长编码定理 106

4-8 平稳信源和马尔可夫信源的变长编码定理 112

4-9 离散无记忆信源定长编码定理 114

第五章 信道与信道容量 121

5-1 信道的分类 121

5-2 信道模型 125

5-3 信道与互信息 132

5-4 对称信道 133

5-5 延长信道 136

5-6 无损信道和确定信道的互信息 137

5-7 有扰离散无记忆信道的信道容量 139

5-8 一些特殊信道的信道容量的计算 142

5-9 任意有扰离散无记忆信道容量的计算--迭代计算法 151

第六章 信道编码 162

6-1 信道编码 162

6-2 信道编码定理 164

6-3 在二元对称信道上信道编码定理的证明 168

6-4 可靠性函数 172

6-5 信道编码的基本概念 174

6-6 单一错误的检测与纠正 176

6-7 码的纠错能力 188

6-8 循环码 199

6-9 有限域(伽罗瓦域Galois field) 211

6-10 BCH码与Fire码 216

第七章 连续信道 219

7-1 连续信道与其互信息量 219

7-2 信道中的噪音 221

7-3 高斯信道 225

7-4 时间连续信道 229

7-5 连续信道的信道容量 236

7-6 具有任意噪音功率谱密度的信道容量 238

7-7 信号空间与连续信道编码定理 245

7-8 相关检波 247

7-9 连续信道上离散信息的传输 252

7-10 连续信道的二元信息传输 254

7-11 连续信道的M元信息传输 256

7-12 连续信道的连续信息传输--线性调制理论 262

7-13 连续信道的连续信息传输--非线性调制 267

7-14 时间连续信号的传输 269

第八章 信息率失真理论 273

8-1 失真函数的基本概念 273

8-2 信息率失真函数R(D) 277

8-3 信息率失真函数R(D)的性质 283

8-4 R(D)的参量表示法 288

8-5 二元信源的信息率失真函数R(D) 295

8-6 R(D)函数的迭代计算公式 299

8-7 限失真信源编码定理 305

8-8 模拟信源的信息率失真函数 306

附录A 凸函数 316

附录B 某些重要不等式 322

附录C 概率空间 326

附录D 计算熵用的数值表 332

主要参考文献 341