信息论基础PDF电子书下载

第1章　绪论 1

1.1　信息论的形成和发展 1

1.2　信息理论研究的内容 2

1.3　通信系统的模型 4

1.4　信息论的应用 7

思考题 10

第2章　信源与信源熵 11

2.1　信源的描述与分类 11

2.1.1　无记忆信源 11

2.1.2　有记忆信源 13

2.1.3　马尔可夫信源 14

2.2　离散信源熵和互信息 22

2.2.1 自信息量 22

2.2.2　离散信源熵 23

2.2.3　互信息 28

2.2.4　数据处理中信息的变化 32

2.2.5　相对熵 34

2.2.6　熵的性质 35

2.3　离散序列信源的熵 38

2.3.1　离散无记忆信源的序列熵 38

2.3.2　离散有记忆信源的序列熵 39

2.4　连续信源的熵与互信息 43

2.4.1　幅度连续的单个符号信源熵 44

2.4.2　波形信源的熵 45

2.4.3　最大熵定理 45

2.5　冗余度 46

本章小结 48

习题 50

第3章　信道与信道容量 55

3.1　信道的基本概念 55

3.1.1　信道的分类 55

3.1.2　信道参数 56

3.1.3　信道容量的定义 59

3.2　离散单个符号信道及其容量 60

3.2.1　无干扰离散信道 60

3.2.2　对称离散无记忆信道 61

3.2.3　准对称离散无记忆信道 64

3.2.4　一般离散无记忆信道 66

3.3　离散序列信道及其容量 67

3.4　连续信道及其容量 69

3.4.1　连续单符号加性信道 69

3.4.2　多维无记忆加性连续信道 71

3.4.3　限时限频限功率加性高斯白噪声信道 73

3.5　多输入多输出信道及其容量 75

3.5.1　MIMO信道模型 76

3.5.2　MIMO信道容量 77

3.6　信源与信道的匹配 78

本章小结 79

习题 80

第4章　信息率失真函数 83

4.1　平均失真和信息率失真函数 83

4.1.1　失真函数 83

4.1.2　平均失真 84

4.1.3　信息率失真函数R（D） 85

4.1.4　信息率失真函数的性质 87

4.1.5　信息率失真函数与信道容量的比较 91

4.2　离散信源和连续信源的R（D）计算 91

本章小结 94

习题 94

第5章　信源编码 97

5.1　编码的定义 97

5.2　无失真信源编码 100

5.2.1　定长编码定理 101

5.2.2　变长编码定理 103

5.2.3　最佳变长编码 106

5.3　限失真信源编码定理 112

本章小结 113

习题 113

第6章　信道编码 117

6.1　差错概率与译码规则 117

6.2　差错概率与编码方法 121

6.3　平均差错概率与信道编码定理 123

6.3.1　译码错误概率的上限 123

6.3.2　信道编码定理 125

6.3.3　减小差错概率的途径 128

6.4　差错控制编码基础 129

6.4.1　纠错码分类 130

6.4.2　差错控制系统分类 131

6.4.3　码距与纠错能力 132

6.4.4　线性分组码简介 133

6.5　联合信源信道编码定理 135

本章小结 137

习题 137

第7章　加密编码 139

7.1　加密编码中的基本概念 139

7.2　加密编码中的熵概念 142

7.3　保密系统的实际要求 144

第8章　网络信息理论简介 146

8.1　概论 146

8.2　网络信道的分类 147

8.3　网络信道的信道容量域 149

8.3.1　离散多址接入信道 149

8.3.2　高斯多址接入信道 153

8.3.3　广播信道 155

8.4　网络中相关信源的信源编码 156

8.4.1　相关信源编码 156

8.4.2　具有边信息的信源编码 158

本章小结 161

习题 162

附录　本书所用符号及含义 164

部分习题参考答案 166

参考文献 174