信息理论基础 第3版PDF电子书下载

第1章 绪论 1

1.1 信息 1

目录 1

1.2 通信系统模型 3

1.3 信息论的形成和发展 6

习题1 7

2.1 自信息量和条件自信息量 8

2.1.1 自信息量 8

第2章 信息的统计度量 8

2.1.2 条件自信息量 9

2.2 互信息量和条件互信息量 10

2.2.1 互信息量 10

2.2.2 互信息量的性质 11

2.2.3 条件互信息量 13

2.3 离散集的平均自信息量 14

2.3.1 平均自信息量（熵） 14

2.3.2 熵函数的数学特性 16

2.3.3 条件熵 24

2.3.5 各种熵的性质 25

2.3.4 联合熵 25

2.3.6 加权熵 31

2.4 离散集的平均互信息量 32

2.4.1 平均条件互信息量 33

2.4.2 平均互信息量 34

2.4.3 平均互信息量的性质 34

2.5 连续随机变量的互信息和相对熵 37

2.5.1 连续随机变量的互信息 37

2.5.2 连续随机变量的熵 39

习题2 41

3.1.1 信源的数学模型 45

第3章 离散信源 45

3.1 信源的数学模型及其分类 45

3.1.2 信源的分类 47

3.2 离散无记忆信源 48

3.3 离散无记忆信源的扩展信源 50

3.3.1 最简单的离散信源 50

3.3.2 N次扩展信源 51

3.3.3 N次扩展信源的熵 52

3.4 离散平稳信源 54

3.4.1 平稳信源 54

3.4.2 平稳信源的熵 55

3.4.3 极限熵 56

3.5 马尔可夫信源 58

3.5.1 有限状态马尔可夫链 59

3.5.2 马尔可夫信源 64

3.6 信源的相关性和剩余度 67

习题3 68

第4章 离散信道及其容量 74

4.1 信道的数学模型及其分类 74

4.2.1 离散信道的数学模型 76

4.2 离散无记忆信道 76

4.2.2 单符号离散信道 78

4.2.3 信道疑义度 80

4.2.4 平均互信息 82

4.2.5 各种熵、信道疑义度及平均互信息量之间的相互关系 88

4.3 离散无记忆扩展信道 89

4.3.1 N次扩展信道 89

4.3.2 定理 92

4.4 信道的组合 98

4.5 信道容量 104

4.5.1 信道容量的定义 104

4.5.2 离散无噪信道 105

4.5.3 离散对称信道 107

4.5.4 一般离散信道 112

4.5.5 离散无记忆N次扩展信道 118

4.5.6 独立并联信道 119

4.5.7 信源和信道匹配 120

习题4 121

第5章 无失真信源编码 126

5.1 编码器 126

5.2 分组码 128

5.3 定长码 131

5.4 变长码 140

5.4.1 码的分类和主要编码方法 140

5.4.2 克拉夫特不等式和麦克米伦不等式 141

5.4.3 惟一可译码判别准则 145

5.4.4 变长编码定理 146

5.4.5 变长码的编码方法 153

习题5 162

第6章 有噪信道编码 166

6.1 噪声信道的编码问题 166

6.1.2 译码规则 167

6.1.1 错误概率和译码规则 167

6.2 错误概率与编码方法 172

6.2.1 简单重复编码 172

6.2.2 消息符号个数 174

6.2.3 （5.2）线性码 176

6.2.4 汉明距离 178

6.3 有噪信道编码定理 180

6.4 错误概率的上界 184

习题6 185

7.1.1 失真函数 188

7.1 失真测度 188

第7章 限失真信源编码 188

7.1.2 平均失真 190

7.2 信息率失真函数 193

7.2.1 D允许信道（试验信道） 193

7.2.2 信息率失真函数的定义 193

7.2.3 信息率失真函数R（D）的性质 194

7.3 限失真信源编码定理和逆定理 198

7.3.1 限失真信源编码定理 198

7.3.2 限失真信源编码逆定理 203

7.4.1 R（D）参量表示法求解 205

7.4 信息率失真函数的计算 205

7.4.2 应用参量表示式计算R（D）的例题 208

7.4.3 R（D）的迭代计算方法 212

习题7 216

第8章 连续信源和波形信道 217

8.1 连续信源的特征 217

8.1.1 连续信源 217

8.1.2 连续信源的熵 217

8.1.3 连续信源的最大熵 219

8.1.4 联合熵、条件熵和平均交互信息量 221

8.1.5 连续信源的熵速率和熵功率 223

8.2 连续信道的信道容量 226

8.2.1 时间离散信道的容量 227

8.2.2 时间连续信道的容量 230

8.3 连续信道的信道编码定理 231

8.4 连续信源的信息率失真函数 232

习题8 236

第9章 纠错编码 239

9.1 纠错码的基本概念 239

9.2 纠错码分类 241

9.3 线性分组码 243

9.3.1 校验矩阵与生成矩阵 243

9.3.2 线性分组码的纠、检错能力 247

9.3.3 校验矩阵与最小距离的关系 250

9.3.4 线性分组码的伴随式 251

9.3.5 线性分组码的译码 252

9.3.6 汉明码 253

9.4 几种重要的纠错码 254

9.4.1 循环码 254

9.4.2 卷积码 257

习题9 261

第10章 网络信息论基础 264

10.1 概述 264

10.2 网络信道分类 265

10.2.1 双向信道 265

10.2.2 反馈信道 266

10.2.3 多源接入信道 266

10.2.4 广播信道 267

10.2.5 中继信道 268

10.2.7 多用户通信网信道 269

10.2.6 串扰信道 269

10.3 网络信息论中的编码问题 270

10.3.1 基本概念 270

10.3.2 相关信源独立编码 274

10.3.3 相关信源协同编码 276

10.4 几种典型的网络信道 278

10.4.1 多源接入信道 279

10.4.2 高斯多源接入信道 280

10.4.3 中继信道 282

10.4.4 广播信道 283

10.4.5 反馈信道 285

习题10 286

第11章 信息论方法在信号处理中的应用 288

11.1 最大熵谱估计 288

11.1.1 最大熵谱估计及伯格递推算法 288

11.1.2 最大熵谱估计 291

11.2 最小误差熵估计与卡尔曼滤波 300

11.2.1 最小均方误差准则与最小误差熵准则 300

11.2.2 最小误差熵准则推导卡尔曼滤波方程 302

习题11 305