信息论基础 第2版PDF电子书下载

第1章 随机变量的信息度量 1

1.1 自信息 1

1.2 熵、联合熵、条件熵 3

1.3 相对熵和互信息 7

1.4 信息量的一些基本性质 12

1.5 广义熵 18

习题一 21

第2章 随机过程的信息度量和渐近等分性 25

2.1 信源和随机过程的基本概念 25

2.2 随机过程的信息度量 31

2.3 渐近等分性质 35

2.4 渐近等分性在数据压缩中的应用——信源编码定理 38

2.5 Shannon-McMillan-Breiman定理 40

习题二 42

第3章 数据压缩和信源编码 46

3.1 等长码 46

3.2 变长编码 48

3.3 哈夫曼（Huffman）码 54

3.4 算术码 57

3.4.1 香农-费诺码 57

3.4.2 自适应算术码 62

3.5 通用信源编码 66

3.5.1 LZ算法 67

3.5.2 LZW（Lempel-Ziv-Welch）算法 72

3.5.3 Kieffer-Yang算法（基于语法的普适信源压缩算法） 74

习题三 75

第4章 数据可靠传输和信道编码 78

4.1 离散无记忆信道和信道容量 78

4.2 信道容量的计算 83

4.2.1 拉格朗日乘子法 83

4.2.2 信道容量的迭代算法 87

4.3 信道编码理论 89

4.3.1 一些定义和概念 89

4.3.2 联合典型序列 90

4.3.3 信道编码定理 92

4.4 带反馈的信道模型 100

4.5 联合信源——信道编码定理 102

4.6 线性分组码 105

习题四 110

第5章 限失真信源编码和率失真函数 113

5.1 限失真信源编码模型和率失真函数 113

5.1.1 限失真信源编码模型和率失真函数定义 113

5.1.2 率失真函数的性质 115

5.1.3 平稳信源的率失真函数 117

5.2 率失真函数的计算 121

5.2.1 一个简单的例子 122

5.2.2 拉格朗日乘子法 124

5.2.3 迭代算法 126

5.3 限失真信源编码定理 128

习题五 133

第6章 连续信源和信道编码理论 135

6.1 可微熵 135

6.2 相对熵和互信息 141

6.3 连续信源的率失真函数 145

6.3.1 率失真函数和失真率函数 145

6.3.2 高斯信源的率失真函数 148

6.3.3 一般连续信源的率失真函数 150

6.4 高斯信道 153

6.4.1 有加性噪声的信道模型和信道容量 153

6.4.2 复合高斯信道和平稳高斯信道 156

习题六 160

第7章 网络信息理论 163

7.1 网络通信模型 163

7.2 多变量联合典型序列 172

7.3 多址信道 176

7.3.1 二址信道模型和编码定理 176

7.3.2 多址信道容量区域的计算 179

7.3.3 高斯多址信道 182

7.4 相关信源编码 185

7.4.1 Slepian-Wolf模型 185

7.5 相关信源和多址信道复合编码问题 189

7.6 网络编码 192

7.6.1 几个例子 193

7.6.2 最大流最小截定理 195

7.6.3 线性网络编码 198

习题七 202

后记：信息论的推广和应用 204

参考文献 206