信息论基础PDF电子书下载

1绪论 1

1.1什么是信息论 1

1.2香农信息论的发展历程 1

1.3信息的概念 2

1.4信息论的研究内容 4

2离散信息的度量 8

2.1自信息 8

2.2平均自信息 11

2.3互信息 23

2.4平均互信息 26

2.5相对熵 35

2.6连续消息的信息量 36

本章复习题 38

3信源及信源熵 42

3.1信源的分类 42

3.2离散平稳信源 43

3.3离散平稳无记忆信源 44

3.4离散平稳有记忆信源 47

3.5连续信源 56

本章复习题 60

4信道及信道容量 63

4.1信道的分类 63

4.2离散单符号信道及其信道容量 64

4.3离散多符号信道及其信道容量 83

4.4组合信道及其容量 86

4.5连续信道及其信道容量 90

4.6波形信道及其信道容量 94

本章复习题 95

5离散信源的无失真编码 98

5.1信源编码的基本概念 98

5.2定长信源编码定理 101

5.3变长信源编码定理 104

5.4常用的变长码编码方法 110

5.5实用的无失真信源编码方法 121

本章复习题 132

6有噪信道编码 134

6.1概述 134

6.2最佳判决与译码准则 137

6.3费诺（Fano）不等式 140

6.4有噪信道编码定理 142

6.5纠错编码 143

本章复习题 158

7限失真信源编码 160

7.1失真测度 160

7.2信息率失真函数 163

7.3限失真信源编码定理 169

7.4常用的限失真信源编码方法 169

本章复习题 173

附录 175

附录A常用对数表 175

附录B数学预备知识 176

附录C实验指导 182

参考文献 188