信息论与编码PDF电子书下载

第1章 绪论 1

第2章 熵和互信息 5

2.1 随机变量的熵和互信息 5

2.1.1 事件的自信息和互信息 6

2.1.2 条件事件的互信息与联合事件的互信息 8

2.1.3 随机变量的平均自信息——熵 9

2.1.4 熵的性质 12

2.1.5 凸函数 15

2.1.6 随机变量间的平均互信息 19

2.1.7 概率分布的散度（相对熵） 22

2.1.8 关于疑义度的Fano不等式 23

2.1.9 马尔可夫链和数据处理定理 24

2.1.10 Shannon信息度量与集合论之间的联系 28

2.1.11 信息论与博弈之间的关系 33

2.2 连续随机变量的互信息和微分熵 36

2.2.1 连续随机变量的互信息 36

2.2.2 连续随机变量的熵——微分熵 37

2.2.3 微分熵的极大化 40

2.3 平稳离散信源的熵 42

2.3.1 平稳离散信源的一般概念 43

2.3.2 平稳信源的熵 43

2.3.3 马尔可夫信源 46

2.4 平稳随机过程的信息量与熵 49

习题 53

第3章 离散无记忆信源的无损编码 58

3.1 离散无记忆信源的等长编码 58

3.1.1 等长编码 58

3.1.2 Shannon信源编码定理叙述 59

3.1.3 渐近等分性质与Shannon定理的证明 60

3.2 离散无记忆信源的不等长编码 64

3.2.1 不等长编码的唯一可译性和译码延时 64

3.2.2 Kraft不等式 67

3.2.3 不等长编码定理 69

3.3 几种不等长编码算法 71

3.3.1 最佳不等长编码（Huffman编码） 71

3.3.2 Shannon编码法 73

3.3.3 Fano编码 75

3.3.4 Shannon-Fano-Elias编码 78

3.3.5 算术编码 80

3.3.6 通用信源编码算法 85

3.3.7 压缩编码与离散随机数发生 89

3.4 平稳信源和马尔可夫信源的编码定理 93

3.4.1 平稳信源的编码 93

3.4.2 马尔可夫信源的编码 95

习题 99

第4章 信道、信道容量及信道编码定理 103

4.1 信道、信道模型和分类 103

4.2 离散无记忆信道及其容量 104

4.2.1 信道容量定义及例子 105

4.2.2 离散无记忆信道的容量定理 109

4.2.3 对称离散无记忆信道容量的计算 110

4.2.4 转移概率矩阵可逆信道的容量计算 113

4.2.5 离散无记忆信道容量的迭代计算 115

4.3 信道的组合 120

4.3.1 积信道（平行组合信道） 120

4.3.2 和信道 122

4.3.3 级联信道 123

4.4 离散无记忆信道的编码定理 125

4.4.1 几个有关定义 126

4.4.2 二元对称信道编码定理的证明 127

4.4.3 一般离散无记忆信道编码定理的证明（典型列方法） 130

4.4.4 信道编码定理之逆 134

4.4.5 具有理想反馈的离散无记忆信道的容量 135

4.4.6 信源、信道编码分离定理和信源、信道联合编码 137

4.5 加性高斯噪声信道 139

4.5.1 高斯信道的容量 140

4.5.2 高斯信道编码定理 141

4.5.3 高斯信道编码定理之逆 143

4.5.4 带有独立高斯噪声的平行信道 144

4.5.5 带有相关高斯噪声的平行信道 146

4.5.6 MIMO高斯信道的容量 148

4.6 模拟信道的信道容量 154

4.6.1 带限、加性白高斯噪声信道 154

4.6.2 带限、有色高斯噪声信道 157

习题 158

第5章 率失真理论和保真度准则下的信源编码 163

5.1 率失真函数的定义 164

5.2 简单信源的率失真函数计算 168

5.2.1 Hamming失真度量下的贝努利信源 168

5.2.2 高斯信源 170

5.2.3 高斯矢量信源 172

5.3 率失真函数的性质 174

5.3.1 R（D）的非零区域（Dmin,Dmax） 174

5.3.2 R（D）的向下凸性 176

5.3.3 R（D）为单调递减的连续函数 176

5.3.4 利用信源的对称性来计算率失真函数 178

5.4 率失真函数解的充要条件和参数方程 179

5.5 率失真函数的交替迭代计算 185

5.6 保真度准则下离散无记忆信源编码定理 189

5.6.1 可达性证明 189

5.6.2 逆定理证明 192

5.6.3 信道编码定理与限失真信源编码定理之间的对偶 193

5.7 无记忆连续信源的率失真函数 194

5.7.1 无记忆连续信源的率失真函数定义 194

5.7.2 平方误差失真度量下连续随机变量的率失真函数的上、下限 196

5.8 平方误差失真度量下有记忆高斯信源的率失真函数 200

5.8.1 有记忆信源的率失真函数定义 200

5.8.2 高斯信源的特征 201

5.8.3 离散时间平稳高斯信源的率失真函数 201

5.8.4 连续时间平稳高斯信源的率失真函数 205

习题 207

第6章 受限系统和受限系统编码 209

6.1 受限系统概述 209

6.1.1 受限信道 209

6.1.2 序列的自相关函数和功率谱 212

6.2 受限系统的表示和容量计算 214

6.2.1 受限系统的概念 214

6.2.2 RLL（d,k）序列 215

6.2.3 受限系统的有限状态转移图表示 215

6.2.4 受限系统的容量 217

6.2.5 受限系统容量的计算 218

6.2.6 最大熵游程受限序列的功率谱 224

6.3 受限系统编码方法 225

6.3.1 定长分组编码 226

6.3.2 码长最短的定长分组码 228

6.3.3 可变长度固定速率编码 229

6.3.4 向前看（LA）编码技术 231

6.4 基于ACH状态分裂算法的有限状态编码器 233

6.4.1 状态分裂 233

6.4.2 近似本征矢量 235

6.4.3 u一致分裂 237

6.4.4 ACH状态分裂算法 239

第7章 线性分组纠错编码 242

7.1 分组纠错编码的一般概念 242

7.1.1 用于纠错和检错的信道编码 242

7.1.2 二元对称信道的差错概率和差错分布 243

7.1.3 检错和纠错 244

7.1.4 自动重发请求（ARQ）编码 246

7.1.5 最大似然译码和最小Hamming距离译码 247

7.1.6 最小Hamming距离与检错、纠错能力的关系 248

7.2 线性分组纠错编码 250

7.2.1 线性分组编码的生成矩阵和校验矩阵 250

7.2.2 对偶码 253

7.2.3 线性分组码的最小Hamming距离和最小Hamming重量 254

7.3 线性分组码的纠错能力 256

7.4 线性分组码的译码 258

7.4.1 标准阵列译码法 259

7.4.2 伴随式译码 260

7.5 译码错误概率计算 261

7.5.1 码字错误概率 261

7.5.2 误比特率 262

7.6 二元Hamming码 263

7.6.1 Hamming码的定义 263

7.6.2 Hamming码的完备性 264

7.6.3 Hamming码的对偶码 264

7.7 从一个已知线性分组码来构造一个新的线性分组码 265

习题 267

第8章 循环码 269

8.1 有限域代数的基本知识 269

8.1.1 有限域的定义 269

8.1.2 GF（2m）的构成 271

8.1.3 有限域的特征和元素的阶数 272

8.1.4 最小多项式 275

8.2 循环码的定义和它的多项式表示 276

8.3 系统循环码的编码及其实现 280

8.3.1 系统循环码的编码 280

8.3.2 多项式运算的电路实现 281

8.3.3 循环码编码的电路实现 286

8.4 循环码的矩阵表示 287

8.5 循环码的译码及其实现 290

8.5.1 伴随式的计算 290

8.5.2 循环码的通用译码算法 292

8.5.3 梅吉特译码器 293

8.6 几个重要的循环码 295

8.6.1 Hamming循环码 296

8.6.2 BCH码 298

8.6.3 Reed-Solomon（RS）码 301

习题 304

第9章 卷积码 305

9.1 卷积码的代数结构 305

9.1.1 卷积码的构成 305

9.1.2 卷积码编码器的冲激响应和生成矩阵 306

9.1.3 卷积码编码器的多项式描述 311

9.2 卷积码的图描述和重量计数 311

9.2.1 卷积码的树图描述 311

9.2.2 卷积码的网格图描述 312

9.2.3 卷积码的状态图描述 313

9.2.4 卷积码的重量计数 314

9.2.5 恶性码 316

9.3 卷积码的Viterbi译码算法 317

9.3.1 分支度量、路径度量和最大似然译码 318

9.3.2 Viterbi译码算法 320

9.3.3 作为前向动态规划解的Viterbi算法 322

9.3.4 实现Viterbi译码算法的一些具体考虑 325

9.4 卷积码Viterbi译码算法的性能界 327

9.4.1 节点错误概率 327

9.4.2 比特错误概率 329

9.4.3 卷积码在BSC和AWGN信道的性能 330

9.5 凿孔卷积码 333

习题 336

第10章 先进的信道编码技术 338

10.1 软判决译码和软输出译码 338

10.1.1 软判决和软输出译码方法 339

10.1.2 卷积码的软输出译码 343

10.2 乘积码和级联编码 346

10.2.1 乘积码 347

10.2.2 级联编码 348

10.2.3 交织技术 349

10.2.4 并行级联编码和Turbo码 351

10.3 迭代译码技术 354

10.3.1 迭代译码原理 354

10.3.2 二维乘积码的迭代译码 355

10.3.3 Turbo码的迭代译码 360

10.4 LDPC码及其软判决译码 361

10.4.1 Tanner图 361

10.4.2 LDPC码的构造方法 362

10.4.3 LDPC的译码 363

10.5 喷泉码 373

10.5.1 随机、线性喷泉码 375

10.5.2 LT码 376

10.5.3 Raptor码 380

第11章 多用户信息论 382

11.1 多用户信息传输模型和信源编码模型 382

11.1.1 多用户信息传输模型 382

11.1.2 多用户信源编码模型 384

11.2 多变量联合典型列及强典型列概念 386

11.2.1 多变量联合典型列及联合AEP性质 386

11.2.2 强典型列集合与强AEP 388

11.3 多接入信道 390

11.4 广播信道 395

11.4.1 广播信道的定义 396

11.4.2 退化的广播信道 396

11.5 干扰信道 401

11.5.1 强干扰信道 402

11.5.2 高斯干扰信道 403

11.6 中继信道 406

11.6.1 退化中继信道 407

11.6.2 高斯中继信道 410

11.7 具有反馈的多用户信道 412

11.7.1 具有无噪反馈的无记忆多接入信道 412

11.7.2 具有无噪反馈的广播信道 416

11.7.3 双向信道 418

11.8 具有状态边信息的信道编码 424

11.8.1 具有缺损的硬盘存储器信道 426

11.8.2 仅发送端具有信道状态信息时的信道容量 428

11.8.3 脏纸信道 429

11.9 相关信源的无损编码及在多接入信道上传输 431

11.9.1 相关信源的无损编码 431

11.9.2 相关信源在多接入信道上传输 435

11.10 具有边信息的信源编码 438

11.10.1 译码器具有边信息的无损信源编码 438

11.10.2 具有边信息的率失真问题 440

11.10.3 仅在译码器具有高斯边信息的高斯信源的率失真函数 443

11.11 多描述信源编码 444

11.11.1 具有2个信道和3个接收机的多描述信源编码模型 445

11.11.2 可达性的证明 451

11.11.3 信息描述的相继细化 453

参考文献 458