信息论与编码PDF电子书下载

第一章 信息的概念和特征 1

第一节 信息的定义与性质 1

第二节 信息的分类 3

第三节 信息论与编码研究的主要内容 4

一、信息的度量问题 4

二、通信信道的基本模型 5

三、通信系统中信息的传递过程 5

第四节 信息论发展概况 7

一、信息论的产生与发展 7

二、信息论的早期酝酿 8

三、信息论的建立与发展 8

四、信息论的近期发展 10

五、信息论在IT领域中的应用 10

本章小结 12

习题一 12

第二章 信息的度量方法 13

第一节 信息度量概述 13

一、预备知识 13

二、信息量 16

三、互信息量与条件互信息量 22

第二节 熵的概念 26

一、信源熵 26

二、条件熵 30

三、联合熵 31

第三节 熵的基本性质 32

一、信息熵的代数性质 32

二、熵的解析性质 39

第四节 加权熵 44

一、加权熵的定义 44

二、加权熵的基本性质 45

第五节 交互熵 53

一、交互熵的定义 53

二、交互熵的物理意义 54

三、交互熵的性质 56

四、各种熵之间的关系 63

第六节 连续型随机变量的信息量 64

一、连续型随机变量的熵 64

二、几种特殊连续型随机变量的熵 67

三、连续型随机变量的熵的性质 69

第七节 最大熵定理 72

一、限峰值功率的最大熵定理 72

二、限平均功率的最大熵定理 73

三、均值受限条件下的最大熵定理 74

四、熵功率 75

本章小结 76

习题二 76

第三章 信源与信息熵 79

第一节 信源的数学模型及其分类 79

一、信源的数学模型 79

二、信源的分类 81

第二节 离散无记忆信源 82

第三节 离散无记忆信源的扩展信源 84

一、最简单的离散信源 84

二、N次扩展信源 85

三、N次扩展信源的熵 86

第四节 离散平稳信源 87

一、平稳信源 87

二、平稳信源的熵 88

三、极限熵 89

第五节 马尔可夫信源 91

一、有限状态马尔可夫链 91

二、马尔可夫信源 95

第六节 信源的相关性和剩余度 98

第七节 连续信源及其熵 99

一、连续信源 99

二、连续信源熵的定义 99

三、连续信源的最大熵 101

四、联合熵、条件熵和平均交互信息量 105

本章小结 106

习题三 106

第四章 信道及其容量 108

第一节 信道的分类与描述 108

一、信道的分类 108

二、信道的描述 110

第二节 离散无记忆信道 111

一、离散信道的数学模型 111

二、单符号离散信道 112

三、信道疑义度及平均互信息 115

第三节 离散无记忆的扩展信道 120

一、N次扩展信道数学模型 121

二、N次扩展信道平均互信息 123

第四节 信道的组合 127

一、串联信道 127

二、并联信道 131

三、和信道 132

第五节 信道容量 132

一、几个基本定义 132

二、离散无记忆信道的N次扩展信道 142

三、组合信道容量 142

第六节 信源与信道的匹配 143

第七节 连续信道及其容量 144

一、时间离散信道及其容量 144

二、时间连续信道的容量 146

第八节 多用户信道 147

一、引言 147

二、多址信道 148

三、广播信道 152

四、相关信源的多用户信道 154

本章小结 155

习题四 155

第五章 信源编码 158

第一节 无失真信源编码 158

一、编码器 158

二、分组码 160

三、等长码和等长信源编码定理 161

四、变长编码定理 166

第二节 限失真信源编码定理 168

一、失真测度 169

二、信息率失真函数 170

三、离散信源和连续信源的R（D）计算 174

四、限失真信源编码定理 176

第三节 常用信源编码方法 177

一、香农编码 177

二、哈夫曼编码 178

三、游程编码 179

四、算术编码 180

五、预测编码 183

六、变换编码 185

第四节 语音压缩编码 188

一、波形编码ADPCM基本原理 188

二、参量编码的线性预测编码器LPC 190

三、混合编码的各类方法 191

第五节 图像编码 192

一、静止图像压缩编码及其技术标准JPEG 193

二、活动图像压缩编码及其技术标准MPEG 194

本章小结 196

习题五 196

第六章 信道编码 198

第一节 信道编码的概念 198

一、信道错误图样 198

二、信道编码基本思想 199

三、信道编码的分类 199

四、码距与纠检错能力 200

第二节 信道的编码与译码 201

一、错误概率与译码规则 201

二、译码规则的选择准则 203

三、错误概率和编码方法 206

第三节 信道的正、反编码定理 210

一、有噪信道编码定理 210

二、有噪信道编码逆定理 213

三、联合信源信道编码定理 215

第四节 线性分组码 216

一、线性分组码的基本概念 216

二、线性分组码代数结构描述 220

三、线性分组码的译码方法 221

四、线性分组码的纠错能力与码限 225

第五节 循环码 227

一、循环码的基本概念及基本性质 227

二、循环码的矩阵描述及对偶码 229

三、循环码的性质及其应用 232

本章小结 233

习题六 234

第七章 信息的保密问题 237

第一节 信息论与密码学 237

一、信息安全面临的威胁 237

二、信息安全的模型 239

三、密码学概述 241

第二节 传统密码体制 243

一、单表代换密码 243

二、多表代换密码 246

三、多字母代换密码 249

四、转置密码 250

第三节 分组密码 252

一、分组加密的基本概念 252

二、数据加密标准 254

三、高级加密标准 261

四、AES算法过程 264

第四节 公开密钥密码体制 268

一、公开密钥的一般原理 268

二、RSA体制 269

三、ELGamal密码 270

四、椭圆曲线密码 272

本章小结 275

习题七 276

第八章 网络信息理论 277

第一节 双输入单输出信道的信道容量 277

第二节 离散二址接入信道的容量界限 280

一、计算容量C1 283

二、计算容量C2 284

三、计算容量C12 286

第三节 高斯加性二址接入信道的容量界限 288

第四节 单输入双输出信道的信道容量 294

第五节 高斯链式接续信道的容量界限 296

第六节 相关信源的边信息和公信息 302

本章小结 305

习题八 305

第九章 若干应用问题 307

第一节 数据压缩问题 307

一、数据压缩概述 307

二、静态图像数据压缩的基本运算 308

三、数据压缩技术分析的主要指标 311

四、数据压缩中的其他问题 312

第二节 卷积码 312

一、卷积码的代数结构 313

二、卷积码的图形描述和重量计数 318

三、卷积码的Viterbi译码算法 323

第三节 几种实用的编码问题 331

一、汉字编码问题 331

二、图形码概述 332

本章小结 333

习题九 333

参考文献 335