信息理论与编码PDF电子书下载

1 信息论概述 1

1.1 信息的基本概念与特征 1

1.2 信息论的产生与发展 4

1.3 信息论研究的主要内容及方法 8

1.4 香农信息论 9

习题 12

2 信息的度量 13

2.1 离散变量的自信息量 13

2.2 离散变量的互信息量 17

2.3 离散变量集的平均自信息量 21

2.4 离散变量集的平均互信息量 33

2.5 连续随机变量的信息度量 39

习题 42

3 离散信源及其度量 45

3.1 离散信源的描述与分类 45

3.2 离散无记忆信源 46

3.3 离散无记忆扩展信源 49

3.4 离散有记忆平稳信源 52

3.5 马尔科夫信源 55

3.6 信源的剩余度 59

习题 61

4 连续信源及其度量 64

4.1 连续信源的描述与分类 64

4.2 单维连续信源 65

4.3 连续信源的最大熵定理 74

4.4 熵功率 78

习题 79

5 信道与信道容量 81

5.1 信道的描述及分类 81

5.2 离散无记忆单符号信道及其容量 83

5.3 离散无记忆多符号信道及其容量 95

5.4 组合信道及其容量 97

5.5 多用户信道 101

5.6 连续信道及其容量 106

5.7 波形信道及其容量 112

5.8 信源与信道匹配 115

习题 115

6 信源编码 118

6.1 信源编码的基本概念 119

6.2 信源的编码性能 122

6.3 无失真信源编码定理 123

6.4 无失真信源编码基本方法 133

6.5 限失真信源编码 160

习题 183

7 信道编码 187

7.1 信道编码的基本概念 187

7.2 信道编码的基本思想 190

7.3 信道编码定理 194

7.4 常用检错码 201

7.5 几种重要的纠错码 203

习题 240

8 密码学基础 242

8.1 密码学的基本概念 242

8.2 保密通信系统的数学模型 243

8.3 古典密码体制的基本类型 244

8.4 现代密码体制 249

8.5 密码体制的安全性 259

8.6 密码技术的应用 260

习题 264

9 信息理论与编码的应用 266

9.1 信息论在多媒体通信中的应用 266

9.2 信息熵在热力学中的应用 272

9.3 信息论在生命科学中的应用 275

9.4 信息论在经济学中的应用 278

9.5 信息论在哲学中的应用 279

参考文献 283