信息论 基础理论与应用 第4版PDF电子书下载

第1章 绪论 1

1.1 信息的概念 1

1.2 信息论研究的对象、目的和内容 8

1.3 信息论发展简史与信息科学 12

第2章 离散信源及其信息测度 17

2.1 信源的数学模型及分类 17

2.2 离散信源的信息熵 22

2.2.1 自信息 22

2.2.2 信息熵 25

2.3 信息熵的基本性质 28

2.4 信息熵的唯一性定理 35

2.5 离散无记忆的扩展信源 38

2.6 离散平稳信源 40

2.6.1 离散平稳信源的数学定义 40

2.6.2 二维离散平稳信源及其信息熵 41

2.6.3 离散平稳信源的极限熵 45

2.7 马尔可夫信源 48

2.7.1 马尔可夫信源和m阶马尔可夫信源的定义 48

2.7.2 马尔可夫信源和m阶马尔可夫信源的信息熵 51

2.8 信源剩余度与自然语言的熵 58

2.9 意义信息和加权熵 62

小结 65

习题 66

第3章 离散信道及其信道容量 70

3.1 信道的数学模型及分类 70

3.1.1 信道的分类 70

3.1.2 离散信道的数学模型 71

3.1.3 单符号离散信道的数学模型 74

3.2 平均互信息及平均条件互信息 76

3.2.1 信道疑义度 76

3.2.2 平均互信息 77

3.2.3 平均条件互信息 80

3.3 平均互信息的特性 82

3.4 信道容量及其一般计算方法 86

3.4.1 离散无噪信道的信道容量 87

3.4.2 对称离散信道的信道容量 89

3.4.3 准对称信道的信道容量 91

3.4.4 一般离散信道的信道容量 92

3.5 信道容量的迭代算法 98

3.5.1 信道容量的迭代算法 99

3.5.2 信道容量迭代算法的收敛性 103

3.6 离散无记忆扩展信道及其信道容量 105

3.7 独立并联信道及其信道容量 110

3.8 串联信道的互信息和数据处理定理 111

3.9 信源与信道的匹配 118

小结 119

习题 121

第4章 波形信源和波形信道 125

4.1 波形信源的统计特性和离散化 125

4.2 连续信源和波形信源的信息测度 127

4.2.1 连续信源的差熵 127

4.2.2 连续平稳信源和波形信源的差熵 129

4.2.3 两种特殊连续信源的差熵 130

4.3 连续信源熵的性质及最大差熵定理 132

4.3.1 差熵的性质 132

4.3.2 具有最大差熵的连续信源 134

4.4 连续信源熵的变换 136

4.4.1 坐标变换后概率密度函数的变化 137

4.4.2 坐标变换后差熵的变化 138

4.5 熵功率 139

4.6 连续信道和波形信道的分类 141

4.6.1 按信道输入和输出的统计特性分类 141

4.6.2 按噪声的统计特性分类 142

4.6.3 按噪声对信号的作用功能分类 145

4.7 连续信道和波形信道的信息传输率 146

4.7.1 基本连续信道的平均互信息 146

4.7.2 多维连续信道的平均互信息 147

4.7.3 波形信道的信息传输率 147

4.7.4 连续信道平均互信息的特性 148

4.8 连续信道和波形信道的信道容量 151

4.8.1 单符号高斯加性信道 152

4.8.2 单符号非高斯加性信道 153

4.8.3 多维无记忆高斯加性连续信道 154

4.8.4 多维有记忆高斯加性连续信道 157

4.8.5 限带高斯白噪声加性波形信道 159

4.8.6 有色高斯加性波形信道 160

4.8.7 香农公式的重要实际指导意义 161

小结 164

习题 167

第5章 无失真信源编码定理 170

5.1 编码器 170

5.2 等长码 172

5.3 渐近等分割性和ε典型序列 175

5.4 等长信源编码定理 178

5.5 变长码 181

5.5.1 唯一可译变长码与即时码 181

5.5.2 即时码的树图构造法 183

5.5.3 克拉夫特（Kraft）不等式 184

5.5.4 唯一可译变长码的判断法 187

5.6 变长信源编码定理 188

小结 195

习题 196

第6章 有噪信道编码定理 199

6.1 错误概率和译码规则 199

6.2 错误概率与编码方法 203

6.3 联合ε典型序列 210

6.4 有噪信道编码定理 215

6.5 联合信源信道编码定理 219

小结 221

习题 223

第7章 保真度准则下的信源编码 225

7.1 失真度和平均失真度 226

7.1.1 失真度 226

7.1.2 平均失真度 228

7.2 信息率失真函数及其性质 229

7.2.1 信息率失真函数 229

7.2.2 信息率失真函数的性质 231

7.3 二元信源和离散对称信源的R（D）函数 236

7.3.1 二元对称信源的R（D）函数 236

7.3.2 离散对称信源的R（D）函数 238

7.4 信息率失真函数的参量表述及其计算 240

7.5 信息率失真函数的迭代算法 248

7.6 连续信源的信息率失真函数 251

7.6.1 连续信源的信息率失真函数 251

7.6.2 高斯信源的信息率失真函数 252

7.6.3 连续信源R（D）函数的参量表述及其计算 254

7.7 保真度准则下的信源编码定理 259

7.7.1 失真ε典型序列 259

7.7.2 保真度准则下信源编码定理的证明 261

7.8 联合有失真信源信道编码定理 263

7.9 限失真信源编码定理的实用意义 265

小结 268

习题 269

第8章 无失真的信源编码 273

8.1 霍夫曼（Huffman）码 273

8.1.1 二元霍夫曼码 274

8.1.2 r元霍夫曼码 276

8.1.3 霍夫曼码的最佳性 277

8.2 费诺（Fano）码 279

8.3 香农—费诺—埃利斯码 280

8.4 游程编码和MH编码 282

8.4.1 游程编码 282

8.4.2 MH编码 287

8.5 算术编码 290

8.6 字典码 296

8.6.1 LZ-77编码算法 297

8.6.2 LZ-78编码算法 298

8.6.3 LZW编码算法 299

8.6.4 LZ码复杂度和性能分析 301

小结 303

习题 304

第9章 信道的纠错编码 307

9.1 差错控制的基本形式 307

9.2 纠错码分类及基本概念 309

9.2.1 纠错码分类 309

9.2.2 纠错码的基本概念及其纠错能力 311

9.3 线性分组码 314

9.3.1 一致校验矩阵和生成矩阵 314

9.3.2 伴随式及标准阵列译码 321

9.3.3 汉明码 327

9.4 循环码 329

9.4.1 循环码结构及其多项式描述 330

9.4.2 循环码的生成多项式和生成矩阵 332

9.4.3 循环码的校验多项式和伴随式 338

9.4.4 循环码的编、译码器 342

9.5 卷积码 346

9.5.1 卷积码的解析表示 346

9.5.2 卷积码的图解表示 350

小结 352

习题 354

第10章 网络信息论 357

10.1 通信网信道的分类 357

10.2 多个随机变量的联合典型序列 360

10.3 相关信源编码 363

10.4 多址接入信道 368

10.4.1 离散多址接入信道 368

10.4.2 多址接入高斯噪声信道 375

10.5 相关信源和多址接入信道 378

10.5.1 相关信源和多址接入信道的对偶性 378

10.5.2 相关信源的多址接入信道 379

10.6 广播信道 381

10.7 中继信道 388

10.8 具有边信息的信源编码 391

10.9 具有边信息的数据压缩 395

小结 399

习题 400

第11章 保密系统的基本信息理论 403

11.1 保密学的基本概念 403

11.2 保密系统的数学模型 404

11.3 古典密码体制 406

11.3.1 单表密码 406

11.3.2 移位代换密码 406

11.3.3 乘数密码 407

11.3.4 固定周期d的位移置换 408

11.3.5 多表代换密码 408

11.4 完全保密性 410

11.5 理论保密性 413

11.6 实际保密性 415

小结 417

习题 418

第12章 信息论与其他学科的关系和应用 419

12.1 信息熵与热力学熵 419

12.2 信息论与光学 422

12.2.1 光学信息量 423

12.2.2 光量子信道的信道容量 425

12.2.3 最大熵光学图像恢复 427

12.3 最大熵原理与谱估计 430

12.3.1 高斯随机过程的熵率 431

12.3.2 伯格的最大熵定理 432

12.4 信息论与生命科学 434

12.4.1 DNA到蛋白质的通信系统 434

12.4.2 信息系数与信息分类 440

12.4.3 医学中的信息分析 442

小结 445

第13章 量子信息科学简介 447

13.1 量子力学的基本概念 447

13.1.1 波粒二重性和光量子 447

13.1.2 波函数和量子态 448

13.1.3 量子态叠加原理 449

13.1.4 量子测量与量子态塌缩 450

13.1.5 测不准原理 452

13.1.6 量子纠缠和纠缠态 452

13.1.7 量子隐形传态 455

13.2 量子通信与量子保密通信 457

13.2.1 量子通信的基本概念 457

13.2.2 量子通信的优越性 458

13.2.3 量子通信的发展现状与前景 458

13.3 量子信息论 459

13.3.1 量子比特 459

13.3.2 量子信息中的冯…诺依曼熵 461

13.3.3 量子信源编码定理 462

13.3.4 量子信道的信道编码 463

附录 464

附录A凸函数和詹森不等式 464

附录B马尔可夫链 466

B.1马尔可夫链的定义 466

B.2转移概率和转移矩阵 467

B.3各态历经定理 468

附录C熵函数的函数表 471

附录D所用符号及编写说明 472

参考书目和文献 479