信息论基础教程PDF电子书下载

目录 1

第1章　绪论 1

1.1　信息的概念 1

1.2　信息论的研究对象、目的和内容 3

第2章　信息的度量 7

2.1 自信息和互信息 7

2.1.1 自信息 7

2.1.2　互信息 9

2.2 平均自信息 10

2.2.1　平均自信息的概念 10

2.2.2　熵函数的性质 11

2.2.3　联合熵与条件熵 15

2.3　平均互信息 19

2.3.1　平均互信息的概念 19

2.3.2　平均互信息的性质 20

2.3.3　数据处理定理 24

习题2 25

第3章　信源及信源熵 29

3.1　信源的分类及其数学模型 29

3.2　离散单符号信源 30

3.3　离散多符号信源 31

3.3.1　离散平稳无记忆信源 32

3.3.2　离散平稳有记忆信源 33

3.3.3　马尔可夫信源 36

3.3.4　信源的相关性和剩余度 40

3.4　连续信源 44

3.4.1　连续信源的微分熵 44

3.4.2　连续信源的最大熵 48

3.4.3　连续信源的熵功率 49

习题3 50

4.1　信道的分类 55

第4章　信道及信道容量 55

4.2　离散单符号信道及其信道容量 56

4.2.1　离散单符号信道的数学模型 56

4.2.2　信道容量的概念 58

4.2.3　几种特殊信道的信道容量 59

4.2.4　离散对称信道的信道容量 61

4.2.5　一般离散信道的信道容量 65

4.2.6　信道容量定理 68

4.2.7　信道容量的迭代算法 72

4.3　离散多符号信道及其信道容量 75

4.4　组合信道及其信道容量 78

4.4.1　独立并联信道 78

4.4.2　级联信道 79

4.5.1　连续随机变量的互信息 80

4.5　连续信道及其信道容量 80

4.5.2　高斯加性信道的信道容量 81

4.5.3　多维高斯加性信道的信道容量 83

4.6　波形信道及其信道容量 84

习题4 85

第5章　无失真信源编码 89

5.1　信源编码的相关概念 89

5.1.1　编码器 89

5.1.2　码的分类 91

5.2　定长码及定长编码定理 94

5.3　变长码及变长编码定理 99

5.3.1　Kraft不等式和McMillan不等式 99

5.3.2　唯一可译码的判别准则 102

5.3.3　无失真变长编码定理 103

5.3.4　香农第一编码定理 106

5.4　变长码的编码方法 109

5.4.1　香农编码 110

5.4.2　香农-费诺-埃利斯编码 111

5.4.3　霍夫曼编码 111

5.4.4　r元霍夫曼编码 115

5.4.5　费诺编码 115

5.5　实用的无失真信源码方法 117

5.5.1　游程编码 117

5.5.2　算术编码 119

5.5.3　LZW码 120

习题5 123

第6章　有噪信道编码 127

6.1　信道编码的相关概念 127

6.1.1　错误概率和译码规则 128

6.1.2　错误概率与编码方法 134

6.2.1　有噪信道编码定理 141

6.2　有噪信道编码定理 141

6.2.2　有噪信道编码逆定理 144

6.2.3　错误概率的上界 145

6.3　纠错编码 147

6.3.1　纠错码分类 147

6.3.2　纠错码的基本概念 149

6.4　几种重要的纠错码 150

6.4.1　线性分组码 150

6.4.2　汉明码 163

6.4.3　循环码 165

6.4.4　卷积码 170

习题6 173

第7章　限失真信源编码 177

7.1　失真测度 177

7.1.1　失真函数 177

7.1.2　平均失真 179

7.2　信息率失真函数 181

7.2.1　D失真许可信道 181

7.2.2　信息率失真函数的定义 181

7.2.3　信息率失真函数R（D）的性质 182

7.3　信息率失真函数的计算 188

7.3.1　应用参量表示式计算R（D） 188

7.3.2　二元信源和离散等概信源的R（D）函数 195

7.4　限失真信源编码定理和逆定理 198

7.4.1　限失真信源编码定理 198

7.4.2　限失真信源编码逆定理 202

7.5　熵压缩编码具体方法 204

7.5.1　标量量化 204

7.5.2　矢量量化 205

7.5.4　预测编码 206

7.5.3　变换编码 206

习题7 207

附录A　上机作业 209

A.1　信道容量的迭代计算 209

A.2　唯一可译码判决准则 210

A.3　Huffman编码 211

A.4　LZW编码 211

附录B　数学预备知识 212

B.1　离散概率论回顾 212

B.2　契比雪夫不等式 213

B.3　大数定理 213

B.4　渐进等同分割性和ε典型序列 214

B.5　马尔可夫链 218

B.6　n维欧式空间 222

B.7　Jensen不等式 223

B.8　Kuhn-Tucker条件（闭图像定理） 224