信息论与编码PDF电子书下载

第1章 绪论 1

1.1　信息的定义与性质 1

1.1.1　信息的定义 1

1.1.2　信息的性质 4

1.2　信息论的主要研究内容 5

1.3　信道编码的研究内容与发展简史 7

1.4　信源编码的研究内容与发展简史 9

1.4.1　数据压缩的必要性 9

1.4.2　数据压缩的可能性和基本方法 10

1.4.3　信源编码研究的发展简史与现状 10

第2章　离散无记忆信源与信息熵 12

2.1　离散无记忆信源 12

2.2 自信息和熵 14

2.2.1 自信息 14

2.2.2　信源的信息熵 17

2.3　熵函数的性质 19

2.4　联合事件的熵及其关系 26

2.4.1　联合事件的概率空间与概率关系 26

2.4.2　联合熵、无条件熵和条件熵 27

2.4.3　各种熵之间的关系 28

2.5　连续信源的信息测度 32

2.5.1　连续信源的差熵 33

2.5.2　差熵的基本性质 35

习题2 36

第3章　离散无记忆信道与互信息 39

3.1　单符号离散无记忆信道及其转移概率 39

3.2　信道疑义度 40

3.3　范诺不等式 43

3.4　互信息的定义 46

3.4.1　符号间的互信息 46

3.4.2　平均互信息 49

3.5　平均互信息的基本性质 51

3.6　平均互信息的凸性 53

3.7　信息系统的可靠性和有效性问题 58

3.8　连续信道的平均互信息 63

3.8.1　单符号连续信道的平均互信息 63

3.8.2　连续信道平均互信息的性质 64

习题3 67

第4章　信道与信道容量 69

4.1　信道的描述和分类 70

4.1.1　信道的描述 70

4.1.2　信道的分类 70

4.1.3　离散无记忆信道 72

4.1.4　高斯白噪声加性波形信道 74

4.2　信道容量的定义 75

4.2.1　信息传输率 75

4.2.2　信道容量 75

4.3　离散信道的信道容量 77

4.3.1　对称信道的信道容量 77

4.3.2　准对称信道的信道容量 79

4.3.3　可逆矩阵信道的信道容量 83

4.4　离散无记忆信道容量的迭代算法 88

4.5　连续信道的信道容量 94

4.5.1　单符号高斯加性信道 95

4.5.2　高斯白噪声加性信道的信道容量 96

习题4 97

第5章　有噪信道编码 98

5.1　最简单的编码方法 98

5.2　联合ε典型序列 101

5.3　有噪信道编码与Shannon第二编码定理 104

5.4　Shannon理论对信道编码的指导意义 107

5.4.1　二进制离散无记忆信道下的极限 107

5.4.2　AWGN信道下的理论极限 107

5.5　线性分组码 109

5.5.1　线性分组码的编码 109

5.5.2　最小距离译码 112

5.5.3　伴随式译码 114

5.5.4　分组码最小距离的边界 117

5.6　卷积码 119

5.7　Turbo码 120

习题5 122

第6章　离散信源及其信息冗余 123

6.1　信源的描述与分类 123

6.1.1　信源的描述 123

6.1.2　信源的分类 123

6.2　离散无记忆信源的扩展信源 125

6.3　离散平稳信源 128

6.4　马尔可夫信源 133

6.5　信源的信息冗余 139

习题6 142

第7章　无失真信源编码 145

7.1　信源编码的作用与构成 145

7.2　等长信源编码的相关概念和编码定理 147

7.2.1　等长码和编码效率 147

7.2.2　信源符号序列的划分 149

7.2.3　等长信源编码定理 153

7.3　变长码的基本概念 155

7.3.1　平均码长与编码效率 156

7.3.2　变长码的结构与分类 157

7.3.3　码的树形图表示 159

7.3.4　字首码存在性定理 161

7.4　变长信源编码定理 162

7.5　最佳编码定理与统计编码方法 168

7.6　变长编码基本方法 172

7.6.1　霍夫曼编码 172

7.6.2　香农－范诺编码 175

7.6.3　算术编码 177

7.6.4　变长码的抗信道误码能力分析 179

习题7 180

第8章 限失真信源编码 183

8.1　失真函数与平均失真 184

8.2　信息率失真函数及其性质 187

8.2.1　D失真许可准则与D失真许可信道 187

8.2.2　信息率失真函数 188

8.2.3　R（D）的基本函数关系 189

8.2.4　信息率失真函数的性质 195

8.3　信息率失真函数的计算 198

8.3.1　信息率失真函数的一般计算方法 198

8.3.2　γ元等概信源和汉明失真函数的R（D） 203

8.3.3　信息率失真函数的参量表示 206

8.4　保真度准则下的信源编码定理 210

8.4.1　信源编码定理及其逆定理 210

8.4.2　编码定理的意义 216

8.5　限失真信源编码的基本原理 218

8.5.1 限失真信源编码的必要性和可行性 218

8.5.2 保真度准则 219

8.5.3 预测编码方法 220

8.5.4 正交变换编码方法 224

8.5.5 矢量量化编码方法 227

习题8 229

附录A 凸函数与颜森（Jensen）不等式 231

A.1 一元函数的凸性 231

A.2 一元函数凸性的定义 232

A.3 函数凸性的判别 232

A.4 Jensen不等式 232

A.5 凸域和凸函数 233

A.6 凸域中的Jensen不等式 234

附录B 线性代数基础 235

B.1 群、域与环 235

B.2 有限域基础 236

B.3 有限域上的线性代数 236

部分习题参考答案 240