信息论与编码PDF电子书下载

第1章 绪论 1

1.1信息的概念 1

1.2信息论研究的对象、目的和内容 10

1.3信息论发展简史与信息科学 14

第2章 离散信源及其信息测度 19

2.1信源的数学模型及分类 19

2.2离散信源的信息熵 23

2.2.1自信息 23

2.2.2信息熵 29

2.3信息熵的基本性质 32

2.4信息熵的惟一性定理 40

2.5离散无记忆的扩展信源 44

2.6离散平稳信源 47

2.6.1离散平稳信源的数学定义 47

2.6.2离散二维平稳信源及其信息熵 49

2.6.3离散平稳信源的极限熵 53

2.7.1马尔可夫信源和m阶马尔可夫信源的定义 57

2.7马尔可夫信源 57

2.7.2m阶马尔可夫信源的信息熵 61

2.8信源冗余度与自然语言的熵 66

2.9意义信息和加权熵 72

习题 76

第3章 离散信道及其信道容量 79

3.1信道的数学模型及分类 79

3.1.1信道的分类 79

3.1.2离散信道的数学模型 80

3.1.3单符号离散信道的数学模型 83

3.2平均互信息及平均条件互信息 87

3.2.1信道疑义度 87

3.2.2平均互信息 88

3.2.3平均条件互信息 91

3.3平均互信息的特性 94

3.4信道容量及其一般计算方法 98

3.4.1离散无噪信道的信道容量 99

3.4.2对称离散信道的信道容量 102

3.4.3准对称信道的信道容量 105

3.4.4一般离散信道的信道容量 106

3.5离散无记忆扩展信道及其信道容量 112

3.6独立并联信道及其信道容量 118

3.7串联信道的互信息和数据处理定理 119

3.8信源与信道的匹配 126

习题 127

第4章 波形信源和波形信道 130

4.1连续信源和波形信源的信息测度 130

4.1.1连续信源的差熵 131

4.1.2连续平稳信源和波形信源的差熵 133

4.1.3两种特殊连续信源的差熵 134

4.2连续信源熵的性质及最大差熵定理 136

4.2.1差熵的性质 136

4.2.2具有最大差熵的连续信源 139

4.3熵功率 141

4.4连续信道和波形信道的信息传输率 142

4.4.1连续信道和波形信道的分类 142

4.4.2连续信道和波形信道的信息传输率 145

4.4.3连续信道平均互信息的特性 147

4.5高斯加性波形信道的信道容量 150

4.5.1单符号高斯加性信道 151

4.5.2限带高斯白噪声加性波形信道 152

习题 157

第5章 无失真信源编码定理 160

5.1编码器 160

5.2等长码 163

5.3渐近等分割性和ε典型序列 166

5.4等长信源编码定理 170

5.5.1惟一可译变长码与即时码 173

5.5变长码 173

5.5.2即时码的树图构造法 175

5.5.3克拉夫特（Kraft）不等式 177

5.5.4惟一可译变长码的判断法 181

5.6变长信源编码定理 183

习题 191

第6章 有噪信道编码定理 193

6.1错误概率和译码规则 193

6.2错误概率与编码方法 199

6.3联合ε典型序列 207

6.4有噪信道编码定理 213

6.5联合信源信道编码定理 217

习题 218

第7章 保真度准则下的信源编码 221

7.1失真度和平均失真度 222

7.1.1失真度 222

7.1.2平均失真度 225

7.2.1信息率失真函数 227

7.2信息率失真函数及其性质 227

7.2.2信息率失真函数的性质 229

7.3信息率失真函数的参量表述及其计算 234

7.4二元信源和离散对称信源的R（D）函数 241

7.4.1 二元对称信源的R（D）函数 241

7.4.2离散对称信源的R（D）函数 244

7.5连续信源的信息率失真函数 246

7.5.1连续信源的信息率失真函数 246

7.5.2高斯信源的信息率失真函数 247

7.7联合有失真信源信道编码定理 250

7.6保真度准则下的信源编码定理 250

7.8限失真信源编码定理的实用意义 252

习题 256

第8章 无失真的信源编码 259

8.1霍夫曼（Huffman）码 259

8.1.1二元霍夫曼码 260

8.1.2r元霍夫曼码 263

8.1.3霍夫曼码的最佳性 264

8.2费诺（Fano）码 267

8.3香农—费诺—埃利斯码 269

8.4游程编码和MH编码 271

8.4.1游程编码 271

8.4.2MH编码 277

8.5算术编码 281

8.6字典码 288

8.6.1 LZ—77编码算法 288

附录C 熵函数的函数表 289

8.6.2 LZ—78编码算法 290

8.6.3 LZW编码算法 292

8.6.4 K-Y（Kieffer-Yang）编码算法 293

8.6.5 LZ复杂度和LZ码性能分析 295

习题 298

9.1差错控制的基本形式 301

第9章 信道的纠错编码 301

9.2纠错码分类与基本概念 303

9.2.1纠错码的分类 303

9.2.2纠错码的基本概念及其纠错能力 305

9.3线性分组码的数学基础 307

9.3.1群论基础 307

9.3.2环与域 311

9.3.3多项式理论 314

9.3.4有限域的性质和代数结构 318

9.3.5有限域上的线性代数 324

9.4线性分组码 328

9.4.1生成矩阵与一致校验矩阵 328

9.4.2伴随式及标准阵列译码 333

9.4.3缩短码、扩展码和增删码 338

9.4.4汉明码 339

9.5循环码 342

9.5.1循环码结构及其描述 342

9.5.2 由生成多项式的根定义循环码 349

9.5.3循环码的译码 352

9.6 BCH码 357

9.6.1 BCH码的结构及其描述 357

9.6.2 RS码和Goppa码 362

9.7卷积码 365

9.7.1卷积码的解析表示 366

9.7.2卷积码的图表示 369

9.8分组码性能分析 371

习题 374

附录A 凸函数和詹森不等式 377

附录B 马尔可夫链 382

B.1 马尔可夫链的定义 382

B.2转移概率和转移矩阵 382

B.3各态历经定理 384

参考书目 393