信息论与编码PDF电子书下载

第1章 绪论 1

1.1 信息技术的优势及其带来的根本变革 1

1.2 信息论与编码的基本概念 2

1.2.1 信息的一般概念 2

1.2.2 香农的信息定义 5

1.2.3 信息的其他定义 7

1.2.4 信息论与编码技术发展历程 11

1.2.5 香农生平和学术风格 16

1.2.6 若干基本问题及其锦囊 18

1.3 数字通信系统模型 22

1.4 信息论与编码理论研究的主要内容和意义 25

1.4.1 信息论研究的主要内容 25

1.4.2 香农信息论对信道编码的指导意义 26

1.4.3 香农信息论对信源编码的指导意义 26

1.4.4 香农信息论对加密编码的指导意义 27

1.5 香农信息论的重要观点与方法 28

1.6 全程思考题 30

思考题与习题 31

第2章 信源及信息度量 32

2.1 信源的数学模型和分类 32

2.1.1 离散无记忆信源 33

2.1.2 离散有记忆信源 35

2.1.3 马尔可夫信源 36

2.1.4 连续信源 40

2.2 离散信源熵和互信息 41

2.2.1 自信息量 42

2.2.2 信源熵 46

2.2.3 条件熵 49

2.2.4 联合熵 50

2.2.5 熵函数的性质 50

2.2.6 互信息与平均互信息量 52

2.2.7 互信息与平均互信息量的性质 54

2.2.8 数据处理中信息的变化 58

2.3 离散序列信源的熵 59

2.3.1 离散无记忆信源的序列熵 59

2.3.2 离散有记忆信源的序列熵 63

2.3.3 马尔可夫信源的序列熵 64

2.4 连续信源的熵和互信息 66

2.4.1 幅度连续的单个符号的信源熵 67

2.4.2 波形信源熵 69

2.4.3 最大熵定理 71

2.5 冗余度 72

2.6 最大熵原理 75

2.7 关于熵的概念理解与题意解读 76

思考题与习题 77

第3章 信道及其容量 80

3.1 信道的数学模型与分类 80

3.1.1 信道的分类 80

3.1.2 信道的数学模型与参数 82

3.2 信道疑义度与平均互信息量 87

3.3 信息传输率与信道容量 87

3.4 离散单个符号信道的信道容量 88

3.4.1 特殊离散信道 88

3.4.2 对称DMC信道 90

3.4.3 准对称DMC信道 92

3.4.4 具有可逆矩阵信道 94

3.4.5 一般DMC信道 94

3.5 离散无记忆序列信道的信道容量 94

3.6 串联信道和并联信道的信道容量 97

3.6.1 串联信道及其信道容量 97

3.6.2 并联信道及其信道容量 100

3.7 连续信道及其容量 101

3.7.1 连续单符号加性信道 101

3.7.2 多维无记忆加性连续信道 102

3.7.3 限时限频限功率的加性高斯白噪声信道 103

3.8 信源与信道的匹配 106

3.9 信道编码定理简介 107

思考题与习题 108

第4章 无失真信源编码 111

4.1 编码器和相关概念 112

4.1.1 码的分类 113

4.1.2 码树 115

4.1.3 克拉夫特不等式 116

4.2 定长编码 118

4.3 变长编码 120

4.3.1 编码空间 122

4.3.2 香农码 123

4.3.3 费诺码 125

4.3.4 哈夫曼码 126

4.4 其他基于统计的信源编码实用方法 130

4.4.1 游程编码 131

4.4.2 算术编码 132

4.5 通用编码 138

4.5.1 LZ77与LZSS编码 139

4.5.2 LZ78与LZW编码 140

4.5.3 常用压缩文件格式 141

思考题与习题 142

第5章 信息率失真函数与限失真编码 145

5.1 失真测度 145

5.1.1 系统模型 145

5.1.2 失真度和平均失真度 146

5.2 信息率失真函数及其性质 148

5.2.1 信息率失真函数的定义 148

5.2.2 信息率失真函数的性质 150

5.3 无记忆信源的信息率失真函数 154

5.3.1 离散无记忆信源的信息率失真函数 154

5.3.2 连续无记忆信源的信息率失真函数 158

5.4 保真度准则下的信源编码定理 160

5.4.1 失真ε典型序列 161

5.4.2 保真度准则下信源编码定理的证明 164

5.4.3 保真度准则下信源编码逆定理证明 166

5.5 限失真信源编码定理的实用意义 167

5.6 限失真信源编码 169

5.6.1 矢量量化编码 169

5.6.2 预测编码 170

5.6.3 变换编码 171

思考题与习题 176

第6章 信道编码 178

6.1 信道编码的概念 178

6.1.1 信道编码的分类 178

6.1.2 与纠错编码有关的基本概念 180

6.1.3 纠错与检错原理 182

6.1.4 有噪信道编码定理 183

6.2 线性分组码 188

6.2.1 线性分组码的数学基础 189

6.2.2 线性分组码的基本概念 197

6.2.3 生成矩阵和一致校验矩阵 197

6.2.4 线性分组码的纠错能力与码最小距离的关系 200

6.2.5 伴随式及标准阵列译码 202

6.2.6 汉明码 206

6.3 循环码 207

6.3.1 循环码的多项式描述 207

6.3.2 循环码的生成矩阵 208

6.3.3 系统循环码 209

6.3.4 多项式运算电路 211

6.3.5 循环码的编码器与实现电路 213

6.3.6 循环码的解码器 214

6.3.7 常用的循环码 215

6.4 卷积码 218

6.4.1 卷积码的基本概念和描述方法 218

6.4.2 卷积码的最大似然译码——维特比算法 223

6.4.3 卷积码维特比译码算法的性能限 225

6.5 编码与调制的结合——TCM码 228

6.5.1 二、四进制的无记忆已调信号中使用的卷积码 231

6.5.2 2m（m≥3）进制调制的无记忆已调信号中所用的卷积码 231

6.6 运用级联、分集与信息迭代概念的纠错码 233

6.6.1 乘积码与级联码 233

6.6.2 Turbo码 235

6.6.3 低密度奇偶校验码 238

6.6.4 空时码与MIMO 240

思考题与习题 241

第7章 加密编码 244

7.1 密码学概述 245

7.1.1 基本专业术语 245

7.1.2 加密编码算法分类 247

7.1.3 密码分析及其分类 249

7.1.4 密码系统的安全性及其分类 252

7.1.5 加密编码的发展历程 253

7.2 加密编码中的信息论分析 255

7.2.1 加密编码中的熵概念 256

7.2.2 密码系统的自由度 257

7.2.3 唯一解距离与理想保密 258

7.2.4 完善保密与一次一密体制 260

7.2.5 具有误导功能的低密钥可信度加密算法 261

7.2.6 多重不确定的密码算法 264

7.3 古典密码及近代密码 266

7.3.1 常见古典密码 266

7.3.2 古典密码的分析 267

7.3.3 近代密码 269

7.4 现代密码学 270

7.4.1 对称加密算法 271

7.4.2 公开密钥加密算法 282

7.4.3 hash函数 285

7.5 密码学其他分支简介 286

7.5.1 特殊数字签名 286

7.5.2 零知识证明 287

7.5.3 秘密共享 288

7.5.4 秘密分割 288

7.5.5 阈下信道 288

7.5.6 比特承诺 288

7.5.7 不经意传输 289

7.5.8 保密选举 289

7.5.9 保密的多方计算 290

7.5.10 数字现金 290

7.5.11 电子拍卖 291

7.6 网络通信加密方式 292

7.7 密码学理论及应用展望 292

7.7.1 量子密码学 294

7.7.2 同态加密 296

7.7.3 数字版权保护技术 296

7.7.4 数字签名应用 299

7.7.5 密码技术支撑诚信产业 300

思考题与习题 302

第8章 香农信息论的局限性与发展展望 303

8.1 信息论现实应用的局限性 303

8.2 信息论中表征、参数和模型的制约 305

8.2.1 成也模型，败也模型 305

8.2.2 概率论的局限性 306

8.2.3 参数的有限性制约 307

8.2.4 信息量对条件的相对性 307

8.2.5 信息论中研究对象的确定性 308

8.3 广义信息理论概述 308

8.4 信息的相对性与可靠性 310

8.4.1 信息可靠性 310

8.4.2 信息的相对性 311

8.5 信息论发展展望 313

8.5.1 信息论与人工智能的融合 313

8.5.2 量子信息论 314

8.5.3 信息的表达能力 316

8.5.4 信息的复杂关联性 317

8.6 创新启示 318

思考题与习题 321

第9章 信息论与编码技术的实现与应用 322

9.1 密码算法编程实现指引 323

9.2 压缩编程实现指引 324

9.3 字符编码 324

9.3.1 ASCII码 324

9.3.2 ANSI编码 325

9.3.3 MBCS 325

9.3.4 CodePage 326

9.3.5 Unicode编码 326

9.4 Base64编码 327

9.5 常用密码系统 328

9.5.1 PGP 328

9.5.2 加密文件系统EFS 332

9.6 常用压缩标准与软件 336

9.6.1 常用压缩软件和压缩文件特征 336

9.6.2 常用媒体文件有损压缩标准 337

9.6.3 常用媒体文件格式与扩展名的对应关系 342

9.7 信息技术下的盈利模式 346

思考题与习题 347

附录 寄语及学习研究的经验和方法分享 348

参考文献 357