信息论基础 第3版PDF电子书下载

第1章 随机变量的信息度量 1

1.1自信息 1

1.2熵、联合熵、条件熵 3

1.3相对熵和互信息 8

1.4信息量的一些基本性质 14

1.5广义熵 21

习题1 24

注记及延伸阅读 28

第2章 随机过程的信息度量和渐近等分性 30

2.1信源和随机过程的基本概念 30

2.2随机过程的信息度量 36

2.3渐近等分性质 40

2.4渐近等分性在数据压缩中的应用——信源编码定理 44

2.5香农-麦克米兰-布瑞曼定理 46

习题2 49

注记及延伸阅读 52

第3章 数据压缩和无失真信源编码 53

3.1等长码 54

3.2变长编码 56

3.3哈夫曼码 63

3.4算术码 67

3.4.1香农-费诺码 67

3.4.2自适应算术码 72

3.5通用无失真信源编码 76

3.5.1 LZ算法 77

3.5.2 LZW算法 82

3.5.3柯佛-杨算法（基于语法的普适信源压缩算法） 84

习题3 85

注记及延伸阅读 88

第4章 数据可靠传输和信道编码 90

4.1离散无记忆信道和信道容量 90

4.2信道容量的计算 95

4.2.1拉格朗日乘子法 95

4.2.2信道容量的迭代算法 99

4.3信道编码理论 102

4.3.1一些定义和概念 102

4.3.2 联合典型序列 103

4.3.3信道编码定理 105

4.4带反馈的信道模型 113

4.5联合信源-信道编码定理 115

4.6线性分组码 118

习题4 126

注记及延伸阅读 128

第5章 限失真信源编码和率失真函数 130

5.1限失真信源编码模型和率失真函数 130

5.1.1限失真信源编码模型和率失真函数定义 130

5.1.2率失真函数的性质 133

5.1.3平稳信源的率失真函数 135

5.2率失真函数的计算 139

5.2.1一个简单的例子 139

5.2.2拉格朗日乘子法 141

5.2.3迭代算法 145

5.3限失真信源编码定理 146

习题5 152

注记及延伸阅读 154

第6章 连续信源和信道编码理论 156

6.1可微熵 156

6.2相对熵和互信息 162

6.3连续信源的率失真函数 167

6.3.1率失真函数和失真率函数 167

6.3.2高斯信源的率失真函数 170

6.3.3一般连续信源的率失真函数 172

6.4高斯信道 175

6.4.1有加性噪声的信道模型和信道容量 175

6.4.2复合高斯信道和平稳高斯信道 178

习题6 184

注记及延伸阅读 186

第7章 网络信息理论 187

7.1网络通信模型 188

7.2多变量联合典型序列 197

7.3多址信道 201

7.3.1二址信道模型和编码定理 201

7.3.2多址信道容量区域的计算 205

7.3.3高斯多址信道 208

7.4相关信源编码 211

7.5相关信源和多址信道复合编码问题 216

7.6网络编码 219

7.6.1几个例子 219

7.6.2最大流-最小截定理 222

7.6.3线性网络编码 224

习题7 229

注记及延伸阅读 230

第8章 信息论和最优资产组合理论 233

8.1证券市场的均值-方差资产组合理论简介 233

8.2基于信息熵的最优资产组合模型 235

8.2.1基于香农熵的最大熵资产组合 236

8.2.2基于广义2-次熵的最大熵资产组合 238

8.2.3三种模型的比较 239

8.3赌徒的困惑和凯利准则 241

8.4 log-最优资产组合模型 243

8.4.1倍率函数和log-最优资产组合 243

8.4.2序列投资模型 248

8.4.3投资决策中信息作用的模型 251

习题8 253

注记及延伸阅读 254

后记 信息论的推广和应用 255

参考文献 257