信息与编码理论PDF电子书下载

第1章 绪论 1

1.1 通信系统与信息 1

1.1.1 通信系统的基本模型 1

1.1.2 信息的概念 2

1.2 信息论的研究范畴 4

1.2.1 狭义信息论 4

1.2.2 一般信息论 5

1.2.3 广义信息论 5

1.3 信息论与信息科学 6

1.3.1 信息论的发展历史 6

1.3.2 信息科学 7

第2章 离散信源熵与交互信息量 9

2.1 离散信源的熵 9

2.1.1 信息的度量 9

2.1.2 单符号离散无记忆信源的熵 11

2.1.3 熵函数的性质 13

2.1.4 离散信源的最大熵 14

2.1.5 联合熵与条件熵 16

2.2 离散信道的平均交互信息量 20

2.2.1 离散信道的数学模型 20

2.2.2 交互信息量 22

2.2.3 平均交互信息量 24

2.3 平均交互信息量的特性 27

2.3.1 凸函数和Jensen不等式 27

2.3.2 平均交互信息量的简单性质 29

2.3.3 平均交互信息量的凸函数性 33

2.4 离散随机序列信源 37

2.4.1 N维扩展信源的熵 37

2.4.2 马尔柯夫信源 43

习题 49

第3章 信道容量与高斯信道 53

3.1 离散信道的信道容量 53

3.1.1 熵速率与信道容量 53

3.1.2 几种简单信道的信道容量计算 54

3.1.3 信道容量的一般计算方法 56

3.1.4 对称信道和准对称信道的信道容量 60

3.2 串联信道的交互信息量 62

3.3 连续信源的熵 67

3.3.1 连续信源熵的定义 67

3.3.2 几种连续信源的熵 69

3.4 连续信源的最大熵 71

3.4.1 连续信源的最大熵 71

3.4.2 连续信源的熵功率 75

3.4.3 连续信源熵的变换 75

3.5 连续有噪声信道的信道容量 78

3.5.1 连续有噪声信道 78

3.5.2 连续信道的平均交互信息量 82

3.5.3 连续信道的信道容量 84

3.6 Fano不等式 88

习题 91

第4章 信源编码与率失真函数 94

4.1 离散信源编码 94

4.1.1 编码器 94

4.1.2 单义可译码 95

4.1.3 平均码字长度 97

4.2 无失真信源编码定理 99

4.2.1 编码效率 99

4.2.2 无失真信源编码定理 100

4.3 Huffman编码 103

4.3.1 Shannon-Fano算法 103

4.3.2 Shannon-Fano算法的最佳条件 105

4.3.3 Huffman算法 105

4.4 率失真函数 108

4.4.1 失真度与平均失真度 108

4.4.2 率失真函数的定义 113

4.4.3 率失真函数的值域和定义域 114

4.4.4 率失真函数的性质 119

4.4.5 率失真函数的计算 120

4.4.6 限失真离散无记忆信源编码定理 125

习题 127

第5章 信道编码原理 130

5.1 信道编码的基本概念 130

5.1.1 信道编码的含义 130

5.1.2 汉明距离 132

5.2 译码准则 133

5.2.1 译码准则的含义 133

5.2.2 错误译码概率 134

5.2.3 最大后验概率准则 134

5.2.4 最大似然准则 136

5.3 有噪声信道编码定理 138

5.4 信息传输的差错控制方法 142

5.4.1 差错控制方法的分类 142

5.4.2 信道编码的性能评价 145

5.4.3 简单的检错码举例 147

5.5 经典序列与信道编码定理 149

5.5.1 渐近等分割性和ε经典序列 149

5.5.2 联合ε经典序列 153

5.5.3 信道编码定理的证明 157

习题 161

第6章 代数编码基础 163

6.1 集合与映射 163

6.1.1 集合 163

6.1.2 映射 164

6.2 群 164

6.3 域 166

6.4 二元域上多项式 169

6.4.1 二元域上多项式的计算 169

6.4.2 二元扩展域的构造 171

6.4.3 二元扩展域的性质 173

6.5 向量空间 178

6.5.1 向量空间概念 178

6.5.2 矩阵及其变换 181

习题 184

第7章 线性分组码 186

7.1 汉明码 186

7.1.1 线性分组码的描述 186

7.1.2 校验子与标准阵译码 192

7.1.3 线性分组码的最小码距 196

7.1.4 汉明码与完备码 198

7.2 循环码 200

7.2.1 循环码的描述 200

7.2.2 循环码的编译码方法 202

7.2.3 循环码的编码电路 205

7.3 循环码的译码 206

7.3.1 梅吉特译码器 206

7.3.2 捕错译码 209

7.3.3 大数逻辑译码 211

7.4 BCH码 216

7.4.1 本原BCH码 216

7.4.2 非本原BCH码 218

7.4.3 RS码 220

7.4.4 BCH码的译码 222

习题 228

第8章 卷积码 230

8.1 卷积码的编码 230

8.1.1 卷积码编码器 230

8.1.2 卷积码的监督矩阵 232

8.1.3 卷积码的生成矩阵 234

8.1.4 卷积码的编码举例 237

8.2 卷积码的维特比译码 242

8.2.1 卷积码的图形表示法 242

8.2.2 译码量度 245

8.2.3 维特比算法 247

8.2.4 卷积码的性能 249

8.3 卷积码的序列译码 253

8.3.1 序列译码算法的基本思路 253

8.3.2 序列译码的堆栈算法 254

8.4 卷积码的其他译码方法 259

8.4.1 软判决译码 259

8.4.2 卷积码的软输出维特比算法 261

8.4.3 卷积码的BCJR译码算法 265

习题 271

第9章 信道编码的其他方法 273

9.1 级联码 273

9.1.1 单级级联码 273

9.1.2 交织码 275

9.2 Turbo码 276

9.2.1 Turbo码编码原理 277

9.2.2 Turbo码的译码 280

9.2.3 Turbo乘积码 283

9.3 LDPC码 286

9.3.1 LDPC码的描述 286

9.3.2 LDPC码的Tanner图 288

9.3.3 UDPC码的译码 290

9.4 喷泉码 296

9.4.1 喷泉码概念 297

9.4.2 LT码 299

9.4.3 Raptor码 302

习题 304

第10章 多用户信息论 305

10.1 多用户信道模型 305

10.2 多址接入信道 308

10.2.1 离散多址接入信道 308

10.2.2 高斯多址接入信道 314

10.3 广播信道 316

10.4 中继信道 324

10.5 相关信源编码 326

习题 330

参考文献 332