信息论与编码基础PDF电子书下载

引言 1

第1章 单符号离散信源 4

1.1信源的信息熵 4

1.1.1信源的数学模型 4

1.1.2信源符号的自信量 4

1.1.3信源的信息熵 6

1.2信息熵的代数性质 9

1.2.1熵函数的对称性 10

1.2.2熵函数的非负性和确定性 10

1.2.3熵函数的连续性和扩展性 11

1.2.4熵函数的可加性 12

1.2.5熵函数的递推性 13

1.3信息熵的解析性质 16

1.3.1熵函数的极值性 17

1.3.2熵函数的上凸性 20

1.3.3熵函数的最大值 21

1.4熵函数的唯一性 22

习题 25

第2章 单符号离散信道 27

2.1平均互信息 27

2.1.1信道的数学模型 27

2.1.2信道两端符号的概率变化 29

2.1.3两个符号之间的互信息 32

2.1.4两个随机变量之间的平均互信息 37

2.2平均互信息的数学特性 45

2.2.1平均互信息的非负性 45

2.2.2平均互信息的极值性 47

2.2.3平均互信息的上凸性 58

2.3信道容量与匹配信源 61

2.3.1信道容量的定义 61

2.3.2信道容量的一般算法 62

2.3.3匹配信源的等量平衡特性 65

2.4几种特殊信道的信道容量 67

2.4.1无噪信道的信道容量 67

2.4.2强对称信道的信道容量 69

2.4.3对称信道的信道容量 73

2.4.4准对称信道的信道容量 75

2.5串接信道的平均互信息 81

2.5.1串接信道的数学描述 81

2.5.2平均条件互信息 83

2.5.3平均联合互信息 89

2.5.4数据处理定理 95

习题 106

第3章 多符号离散信源与信道 112

3.1离散平稳信源的数学模型 112

3.1.1多符号离散信源的一般概念 112

3.1.2离散平稳信源的定义 113

3.1.3平稳信源的数学模型 113

3.2扩展信源的信息熵 115

3.2.1无记忆扩展信源的信息熵 116

3.2.2有记忆扩展信源的信息熵 118

3.2.3扩展信源信息熵的比较 121

3.3平均符号熵和极限熵 122

3.3.1平均符号熵 123

3.3.2极限熵 125

3.4马尔柯夫信源的极限熵 127

3.4.1 M信源的定义 127

3.4.2 m-M信源的数学模型 128

3.4.3各态历经m-M信源的极限熵 134

3.4.4剩余度 140

3.5扩展信道的平均互信息 142

3.5.1扩展信道的由来 142

3.5.2扩展信道的数学描述 143

3.5.3扩展信道的平均互信息的数学特性 144

3.6无记忆扩展信道的信道容量 150

3.6.1无记忆扩展信道的独立并列特性 150

3.6.2独立并列信道的信道容量 153

习题 156

第4章 连续信源与信道 160

4.1单维连续信道的平均互信息 161

4.1.1单维连续信道的数学描述 161

4.1.2连续信源的信息熵 162

4.1.3连续信道的疑义度 164

4.1.4信息熵差与相对熵差 166

4.1.5平均互信息的三种表达式 167

4.2连续信源的相对熵 170

4.2.1“相对”二字的由来及其内涵 170

4.2.2几种连续信源的相对熵 172

4.3最大相对熵定理 182

4.3.1相对熵的数学特性 182

4.3.2最大相对熵定理 184

4.3.3熵功率与信息变差 189

4.3.4“相对熵”和“信息熵”称呼的统一 191

4.4高斯白噪声加性信道的信道容量 193

4.4.1加性信道的信道容量 193

4.4.2高斯加性信道的信道容量 195

4.4.3高斯白噪声加性信道的信道容量 198

4.4.4香农公式的诠释 203

习题 205

第5章 无失真信源编码 209

5.1单义可译定理 209

5.1.1单义可译码 210

5.1.2非延长码及其构成 211

5.1.3单义可译结构定理 213

5.2无记忆信源符号速率极限定理 217

5.2.1平均码长与码率 217

5.2.2平均码长极限定理 217

5.2.3码率极限定理 224

5.2.4符号速率极限定理 225

5.3有记忆信源符号速率极限定理 226

5.4霍夫曼码 230

5.4.1霍夫曼编码方法 230

5.4.2霍夫曼码是非延长码 239

5.4.3霍夫曼码是有效码 240

习题 245

第6章 抗干扰信道编码 248

6.1译码规则和平均误码率 248

6.1.1译码规则 248

6.1.2误码率和平均误码率 249

6.1.3最小平均误码率译码规则 254

6.2编码方法和最小平均误码率 258

6.2.1纠错码W（ Ⅰ）的最小平均误码率 259

6.2.2纠错码W（ Ⅱ）的最小平均误码率 262

6.2.3纠错码W（Ⅲ）的最小平均误码率 265

6.3抗干扰信道编码定理 268

6.3.1汉明（Hamming）距离与检纠能力 268

6.3.2汉明距离与最小平均误码率 272

6.3.3疑义度与平均误码率 274

6.3.4平均误码率与码率 276

6.3.5误码率极限定理 279

6.4线性分组码 285

6.4.1线性分组码的代数结构 285

6.4.2生成矩阵 296

6.4.3一致校验矩阵 303

6.4.4译码表 308

6.4.5汉明码的最优化 323

习题 330

第7章 信息率-失真函数 334

7.1信息率-失真函数R（D）的定义 334

7.1.1平均互信息的下凸性 334

7.1.2平均失真度 336

7.1.3 R（D）函数的定义 338

7.2 R （ D）函数的数学特性 338

7.2.1 R （ D）函数的连续性 339

7.2.2 R （ D）函数的下凸性 339

7.2.3 R （ D）函数的单调递减性 340

7.3离散信源的R（D）函数 341

7.3.1 R （ D）函数的定义域 341

7.3.2 R（D）函数的表达式 350

7.4扩展信源的R（D）函数 356

7.4.1扩展信道的平均失真度 356

7.4.2扩展信源R（D）函数的数学特征 359

7.5 R （ D）与数据压缩 363

7.5.1数据压缩的一般运行机制 363

7.5.2 R（D）与压缩比 365

7.5.3通信系统最优化前景 369

习题 370

附录A供熵函数计算用的几种函数表 372

参考文献 373