信息论与编码PDF电子书下载

第1章 绪论 1

第2章 熵和互信息 6

2.1 随机变量的熵和互信息 6

2.1.1 事件的自信息和互信息 8

2.1.2 条件事件的互信息与联合事件的互信息 10

2.1.3 随机变量的平均自信息——熵 11

2.1.4 熵的性质 14

2.1.5 凸函数 18

2.1.6 随机变量间的平均互信息 22

2.1.7 概率分布的散度（相对熵） 26

2.1.8 关于疑义度的Fano不等式 27

2.1.9 马尔可夫链和数据处理定理 28

2.1.10 Shannon信息度量与集合论之间的联系 32

2.1.11 信息论与博弈之间的关系 38

2.2 连续随机变量的互信息和微分熵 40

2.2.1 连续随机变量的互信息 40

2.2.2 连续随机变量的熵——微分熵 42

2.2.3 微分熵的极大化 45

2.3 平稳离散信源的熵 48

2.3.1 平稳离散信源的一般概念 48

2.3.2 平稳信源的熵 49

2.3.3 马尔可夫信源 52

2.4 平稳随机过程的信息量与熵 55

习题 59

第3章 离散无记忆信源（DMS）的无损编码 64

3.1 离散无记忆信源的等长编码 64

3.1.1 等长编码 64

3.1.2 Shannon编码定理和典型列解释 65

3.1.3 渐近等分性质（AEP）与Shannon定理的证明 67

3.2 离散无记忆源（DMS）的不等长编码 71

3.2.1 不等长编码的惟一可译性和译码延时 71

3.2.2 Kraft不等式 75

3.2.3 不等长编码定理 77

3.3 几种不等长编码算法 79

3.3.1 最佳不等长编码（Huffman编码） 79

3.3.2 Shannon编码法 82

3.3.3 Fano编码 84

3.3.4 Shannon-Fano-Elias编码 87

3.3.5 算术编码 89

3.3.6 通用信源编码算法 95

3.3.7 压缩编码与离散随机数发生 100

3.4 平稳信源和马尔可夫信源的编码定理 104

3.4.1 平稳信源的编码 104

3.4.2 马尔可夫信源的编码 107

习题 111

第4章 信道、信道容量及信道编码定理 114

4.1 信道、信道模型和分类 114

4.2 离散无记忆信道（DMC）及其容量 115

4.2.1 信道容量定义及例子 116

4.2.2 离散无记忆信道（DMC）的容量定理 121

4.2.3 对称离散无记忆信道容量的计算 122

4.2.4 转移概率矩阵可逆信道的容量计算 126

4.2.5 离散无记忆信道（DMC）容量的迭代计算 127

4.3 信道的组合 132

4.3.1 积信道（平行组合信道） 133

4.3.2 和信道 134

4.3.3 级联信道 136

4.4 离散无记忆信道（DMC）的编码定理 138

4.4.1 几个有关定义 139

4.4.2 二元对称信道编码定理的证明 140

4.4.3 一般离散无记忆信道编码定理的证明（典型列方法） 144

4.4.4 信道编码定理之逆 149

4.4.5 具有理想反馈的离散无记忆信道的容量 150

4.4.6 信源、信道编码分离定理和信源、信道联合编码 151

4.5 加性高斯噪声（AWGN）信道 153

4.5.1 高斯信道的容量 155

4.5.2 高斯信道编码定理 156

4.5.3 高斯信道编码定理之逆 158

4.5.4 带有独立高斯噪声的平行信道 159

4.5.5 带有相关高斯噪声的平行信道 162

4.5.6 MIMO高斯信道的容量 164

4.6 模拟信道的信道容量 171

4.6.1 带限、加性白高斯噪声信道 171

4.6.2 带限、有色高斯噪声信道 174

习题 175

第5章 率失真理论和保真度准则下的信源编码 180

5.1 率失真函数的定义 182

5.2 简单信源的率失真函数计算 186

5.2.1 Hamming失真度量下的贝努利信源 186

5.2.2 高斯信源 188

5.2.3 高斯矢量信源 190

5.3 率失真函数的性质 193

5.3.1 R（D）的非零区域（Dmin，Dmax） 193

5.3.2 R（D）的向下凸性 194

5.3.3 R（D）为单调递减的连续函数 195

5.3.4 利用信源的对称性来计算率失真函数 196

5.4 率失真函数解的充要条件和参数方程 199

5.5 率失真函数的交替迭代计算 205

5.6 保真度准则下离散无记忆信源编码定理 209

5.6.1 可达性证明 209

5.6.2 逆定理证明 213

5.6.3 信道编码定理与限失真信源编码定理之间的对偶 214

5.7 无记忆连续信源的率失真函数 215

5.7.1 无记忆连续信源的率失真函数定义 215

5.7.2 平方误差失真度量下连续随机变量的率失真函数的上、下限 217

5.8 平方误差失真度量下有记忆高斯信源的率失真函数 221

5.8.1 有记忆信源的率失真函数定义 221

5.8.2 高斯信源的特征 222

5.8.3 离散时间平稳高斯信源的率失真函数 223

5.8.4 连续时间平稳高斯信源的率失真函数 227

习题 228

第6章 受限系统和受限系统编码 231

6.1 受限系统概述 231

6.1.1 受限信道 231

6.1.2 序列的自相关函数和功率谱 234

6.2 受限系统的表示和容量计算 237

6.2.1 受限系统的概念 237

6.2.2 RLL（d，k）序列 238

6.2.3 受限系统的有限状态转移图表示 238

6.2.4 受限系统的容量 241

6.2.5 受限系统容量的计算 242

6.2.6 最大熵游程受限序列的功率谱 248

6.3 受限系统编码方法 250

6.3.1 定长分组编码 250

6.3.2 码长最短的定长分组码 253

6.3.3 可变长度固定速率编码 255

6.3.4 向前看（LA）编码技术 257

6.4 基于ACH状态分裂算法的有限状态编码器 259

6.4.1 状态分裂 260

6.4.2 近似本征矢量 261

6.4.3 u一致分裂 264

6.4.4 ACH状态分裂算法 266

第7章 线性分组纠错编码 269

7.1 分组纠错编码的一般概念 269

7.1.1 用于纠错和检错的信道编码 269

7.1.2 二元对称信道的差错概率和差错分布 270

7.1.3 检错和纠错 271

7.1.4 自动重发请求（ARQ）编码 273

7.1.5 最大似然译码和最小Hamming距离译码 275

7.1.6 最小Hamming距离与检错、纠错能力的关系 277

7.2 线性分组纠错编码 279

7.2.1 线性分组编码的生成矩阵和校验矩阵 279

7.2.2 对偶码 282

7.2.3 线性分组码的最小Hamming距离和最小Hamming重量 283

7.3 线性分组码的纠错能力 285

7.4 线性分组码的译码 288

7.4.1 标准阵列译码法 289

7.4.2 伴随式译码 291

7.5 译码错误概率计算 292

7.5.1 码字错误概率 292

7.5.2 误比特率 293

7.6 二元Hamming码 293

7.6.1 Hamming码的定义 293

7.6.2 Hamming码的完备性 295

7.6.3 Hamming码的对偶码 295

7.7 从一个已知线性分组码来构造一个新的线性分组码 296

习题 298

第8章 循环码 301

8.1 有限域代数的基本知识 301

8.1.1 有限域的定义 301

8.1.2 GF（2m）的构成 303

8.1.3 有限域的特征和元素的阶数 305

8.1.4 最小多项式 308

8.2 循环码的定义和它的多项式表示 309

8.3 系统循环码的编码及其实现 314

8.3.1 系统循环码的编码 314

8.3.2 多项式运算的电路实现 315

8.3.3 循环码编码的电路实现 320

8.4 循环码的矩阵表示 322

8.5 循环码的译码及其实现 325

8.5.1 伴随式的计算 325

8.5.2 循环码的通用译码算法 328

8.5.3 梅吉特（Meggitt）译码器 329

8.6 几个重要的循环码 331

8.6.1 Hamming循环码 332

8.6.2 BCH码 334

8.6.3 Reed-Solomon（RS）码 337

习题 339

第9章 卷积码 340

9.1 卷积码的代数结构 340

9.1.1 卷积码的构成 340

9.1.2 卷积码编码器的冲击响应和生成矩阵 341

9.1.3 卷积码编码器的多项式描述 346

9.2 卷积码的图描述和重量计数 347

9.2.1 卷积码的树图描述 347

9.2.2 卷积码的网格图描述 349

9.2.3 卷积码的状态图描述 349

9.2.4 卷积码的重量计数 351

9.2.5 恶性码 353

9.3 卷积码的Viterbi译码算法 354

9.3.1 分支度量、路径度量和最大似然译码 355

9.3.2 Viterbi译码算法 357

9.3.3 作为前向动态规划解的Viterbi算法 359

9.3.4 实现Viterbi译码算法的一些具体考虑 363

9.4 卷积码Viterbi译码算法的性能界 365

9.4.1 节点错误概率 365

9.4.2 比特错误概率 368

9.4.3 卷积码在BSC和AWGN信道的性能 369

9.5 凿孔卷积码 372

习题 375

第10章 Turbo编码与迭代译码算法 377

10.1 Turbo码概述 377

10.2 Turbo码编码器 379

10.2.1 递归系统卷积码（RSC） 380

10.2.2 网格终止问题 382

10.2.3 Turbo码中的交织器 383

10.3 Turbo码的性能分析 388

10.4 Turbo码的迭代译码算法 391

10.4.1 Turbo译码方式 391

10.4.2 SISO译码算法（MAP算法） 393

10.4.3 修正的MAP算法 396

10.5 迭代译码的信息论解释 398

10.5.1 最小交叉熵（MCE）原理 398

10.5.2 交叉熵与迭代译码的关系 401

第11章 多用户信息论与多用户编码 405

11.1 多用户信息传输模型和信源编码模型 405

11.1.1 多用户信息传输模型 405

11.1.2 多用户信源编码模型 408

11.2 多变量联合典型列及强典型列概念 409

11.2.1 多变量联合典型列及联合AEP性质 409

11.2.2 强典型列集合与强AEP 412

11.3 多接入信道 413

11.4 广播信道 418

11.4.1 广播信道的定义 419

11.4.2 退化的广播信道 420

11.5 干扰信道 425

11.5.1 强干扰信道 426

11.5.2 高斯干扰信道 428

11.6 中继信道 431

11.6.1 退化中继信道 433

11.6.2 高斯中继信道 436

11.7 具有反馈的多用户信道 438

11.7.1 具有无噪反馈的无记忆多接入信道 438

11.7.2 具有无噪反馈的广播信道 443

11.7.3 双向信道 446

11.8 具有状态边信息的信道编码 452

11.8.1 具有缺损的硬盘存储器信道 455

11.8.2 仅发送端具有信道状态信息时的信道容量 457

11.8.3 脏纸上写字 458

11.9 相关信源的无损编码及在多接入信道上传输 460

11.9.1 相关信源的无损编码 460

11.9.2 相关信源在多接入信道上传输 465

11.10 具有边信息的信源编码 469

11.10.1 译码器具有边信息的无损信源编码 469

11.10.2 具有边信息的率失真问题 471

11.10.3 仅在译码器具有高斯边信息的高斯信源的率失真函数 474

11.10.4 DISCUS算法 476

11.11 多描述信源编码 480

11.11.1 具有2个信道和3个接收机的多描述信源编码模型 481

11.11.2 可达性的证明 488

11.11.3 信息描述的相继细化 490

参考文献 496