信息论PDF电子书下载

第一章 信息量 1

1.1 熵 1

1.1.1 信息的定性描述 1

1.1.2 信息的定量表征 1

1.1.3 熵的基本性质 6

1.2 互信息 10

1.2.1 条件熵 10

1.2.2 互信息 11

1.2.3 数据处理定理 14

1.2.4 互信息的凸性 17

1.3 关于信息量的几个问题 19

1.3.1 熵的唯一性 19

1.3.2 Shannon熵的局限性 24

1.3.3 信息量与可加集函数之类比 34

1.4 问题与补充 37

第二章 信源编码理论 45

2.1 信源与编码 45

2.1.1 信源的概念 45

2.1.2 码的概念 45

2.1.3 编码规则 46

2.2 定长码 47

2.2.1 无记忆信源的信息稳定性 47

2.2.2 定长编码定理 49

2.3 变长码 53

2.3.1 码的分类 53

2.3.2 几个引理 56

2.3.3 平均码长定理 62

2.4 带价值码 69

2.4.1 一般离散信源的熵率 69

2.4.2 码的价值 71

2.4.3 平均价值定理 73

2.5 具保真度码 82

2.5.1 失真测度 82

2.5.2 率失真函数 87

2.5.3 保真信源编码定理 96

2.5.4 率失真函数的计算 107

2.6 问题与补充 132

第三章 信道编码理论 147

3.1 噪声信道编码问题 147

3.1.1 信道与编码 147

3.1.2 通信系统及误差概率 147

3.1.3 无记忆信道 150

3.2 逆编码定理 153

3.2.1 信道容量 153

3.2.2 逆编码定理 156

3.3 具价值的编码定理 160

3.3.1 价值容量函数 160

3.3.2 编码定理 170

3.4 具误差概率指数界的编码定理 179

3.4.1 误差概率的指数形式 179

3.4.2 指数界编码定理 189

3.4.3 随机编码指数算例 205

3.5 信道容量的计算 213

3.5.1 基础算法 213

3.5.2 特征方程法 217

3.5.3 迭代算法 234

3.6 问题与补充 246

第四章 线性码概述 264

4.1 线性码的表现 264

4.1.1 线性码的定义及生成矩阵 264

4.1.2 系统线性码与校验矩阵 267

4.2 线性码的译码法 271

4.2.1 校验子译码 271

4.2.2 几何译法 277

4.3 线性码的纠错能力 280

4.3.1 几何译法与码的纠错能力 280

4.3.2 线性码的纠错与检错 284

4.4 线性码的误差概率 289

4.4.1 纯检错译码误差概率 289

4.4.2 最大似然译码误差概率界 290

4.4.3 权计数子的计算——Mac Williams恒等式 294

4.5 问题与补充 299

第五章 循环码 307

5.1 循环码的表现 307

5.1.1 循环码的生成元 307

5.1.2 校验式与对偶码 313

5.2 循环码的编码法 315

5.3 循环码的检错能力及通用译法 321

5.3.1 循环码的检错能力 322

5.3.2 循环码的伴随式与检错方法 324

5.3.3 循环码的通用译法 325

5.4 Hamming码 328

5.4.1 （15，11）Hamming码 328

5.4.2 二元（2m-1，2m-m-1）循环Hamming码 332

5.4.3 循环Hamming码的捕错译法 335

5.5 问题与补充 337

第六章 Goppa码类 341

6.1 BCH码导引 341

6.1.1 推广Hamming码 341

6.1.2 BCH码的定义及性能 345

6.2 BCH码的推广与Goppa码类 350

6.2.1 BCH码的Goppa表现 350

6.2.2 Goppa码类 352

6.2.3 Reed—Solomon码 358

6.3 Goppa码类的通用译法 361

6.3.1 关键方程 361

6.3.2 欧氏算法 364

6.3.3 Goppa码类译码法 373

6.4 问题与补充 383

第七章 卷积码 394

7.1 卷积码的表现 394

7.1.1 生成矩阵与生成元 394

7.1.2 多项式矩阵与生成多项式 398

7.1.3 卷积编码器 400

7.2 门限译法 406

7.2.1 系统卷积码与校验矩阵 406

7.2.2 门限译法 411

7.3 最大似然译法 418

7.3.1 卷积码的状态图 419

7.3.2 卷积码的格子图 426

7.3.3 Viterbi译码法 429

7.4 序贯译法 434

7.4.1 卷积码的树形结构 435

7.4.2 Fano译码法 438

7.5 问题与补充 442

第八章 密码 446

8.1 密码系统 446

8.1.1 引言 446

8.1.2 基本字母表与加密原则 447

8.1.3 密码系统 449

8.2 Bayes对手密码分析 452

8.2.1 保密通信系统 452

8.2.2 密码分析的Bayes模型 456

8.2.3 Caesar加密与Bayes判决 458

8.3 单表代换 465

8.3.1 置换群与代换系统 465

8.3.2 Caesar代换分析（Ⅰ）——最大似然法 467

8.3.3 Caesar代换分析（Ⅱ）——相关分析法 468

8.3.4 仿Caesar代换 469

8.4 多表加密系统 471

8.4.1 绝密系统 471

8.4.2 Vigenere加密系统 472

8.4.3 多表代换密码分析 473

8.5 问题与补充 481

附录A Galois域 484

附录B 凸函数 503

参考书目 530