信息论基础PDF电子书下载

第一章 随机变量的信息度量 1

1.1 自信息 1

1.2 熵、联合熵、条件熵 3

1.3 相对熵和互信息 7

1.4 信息量的一些基本性质 12

1.5 广义熵 18

习题一 21

2.1 信源和随机过程的基本概念 25

第二章 随机过程的信息度量和渐近等分性 25

2.2 随机过程的信息度量 31

2.3 渐近等分性质 35

2.4 渐近等分性在数据压缩中的应用——信源编码定理 39

2.5 Snannon-McMillan-Breiman定理 40

习题二 43

第三章 数据压缩和信源编码 47

3.1 等长码 47

3.2 变长编码 49

3.3 哈夫曼（Huffman）码 55

3.4.1 申农-法诺码 59

3.4 算术码 59

3.4.2 自适应算术码 64

3.5 通用信源编码 68

3.5.1 LZ算法 69

3.5.2 LZW（Lempel-Ziv-Welch）算法 75

3.5.3 Kieffer-Yang算法（基于语法的普适信源压缩算法） 76

习题三 78

4.1 离散无记忆信道和信道容量 81

第四章 数据可靠传输和信道编码 81

4.2 信道容量的计算 86

4.2.1 拉格朗日乘子法 86

4.2.2 信道容量的迭代算法 90

4.3 信道编码理论 92

4.3.1 一些定义和概念 92

4.3.2 联合典型序列 93

4.3.3 信道编码定理 95

4.4 带反馈的信道模型 104

4.5 联合信源-信道编码定理 106

4.6 线性分组码 109

习题四 114

第五章 限失真信源编码和率失真函数 117

5.1 限失真信源编码模型和率失真函数 117

5.1.1 限失真信源编码模型和率失真函数定义 117

5.1.2 率失真函数的性质 120

5.1.3 平稳信源的率失真函数 122

5.2 率失真函数的计算 125

5.2.1 一个简单的例子 126

5.2.2 拉格朗日乘子法 128

5.2.3 失代算法 130

5.3 限失真信源编码定理 132

习题五 137

第六章 连续信源和信道编码理论 139

6.1 可微熵 139

6.2 相对熵和互信息 145

6.3.1 率失真函数和失真率函数 149

6.3 连续信源的率失真函数 149

6.3.2 高斯信源的率失真函数 153

6.3.3 一般连续信源的率失真函数 154

6.4 高斯信道 157

6.4.1 有加性噪声的信道模型和信道容量 158

6.4.2 复合高斯信道和平稳高斯信道 161

习题六 165

第七章 网络信息理论 169

7.1 网络通信模型 169

7.2 多变量联合典型序列 178

7.3 多址信道 182

7.3.1 二址信道模型和编码定理 182

7.3.2 多址信道容量区域的计算 186

7.3.3 高斯多址信道 189

7.4 相关信源编码 192

7.4.1 Slepian-Wolf模型 192

7.5 相关信源和多址信道复合编码问题 196

习题七 199

参考文献 201