信息理论与编码PDF电子书下载

第1章 概论 1

1.1 信息的概念 1

1.2 信息的分类 3

1.3 信息论的研究目的与意义 5

第2章 信源与信息熵 6

2.1 离散信源与信息熵 6

2.1.1 离散信源的数学模型与统计特征 6

2.1.2 自信息量和平均自信息量（熵） 7

2.1.3 熵函数的基本性质和最大熵定理 11

2.1.4 联合熵与条件熵 17

2.1.5 互信息 20

2.2 离散序列信源 28

2.2.1 离散序列信源的数学模型 28

2.2.2 离散序列信源的信息熵 29

2.2.3 马尔可夫信源 33

2.2.4 信源冗余度 37

2.3 连续信源 39

2.3.1 连续信源的熵 39

2.3.2 连续信源的最大熵及熵功率 44

习题 46

第3章 信息率失真函数 50

3.1 失真测度 51

3.1.1 失真函数与平均失真度 51

3.1.2 信息率失真函数的定义 54

3.2 离散信源的信息率失真函数 55

3.2.1 信息率失真函数的性质 55

3.2.2 信息率失真函数的计算 58

3.3 连续信源的信息率失真函数 66

3.3.1 信息率失真函数的定义与性质 67

3.3.2 信息率失真函数的计算 68

习题 69

第4章 信道与信道容量 71

4.1 信道的分类与数学模型 71

4.1.1 信道的分类 71

4.1.2 信道的数学模型 72

4.1.3 信道容量的定义 77

4.2 信道容量的代价函数和信道冗余度 79

4.2.1 信道容量的代价函数 79

4.2.2 信道冗余度 80

4.3 离散信道及其容量计算 81

4.3.1 单符号离散信道的信道容量 81

4.3.2 多符号离散信道的信道容量 89

4.4 连续信道及其容量 90

4.4.1 时间离散信道的信道容量 90

4.4.2 时间连续信道的信道容量 93

4.4.3 限频率、限时、限功率的AWGN信道容量 94

4.5 信道容量C与信息率失真函数R（D）的区别 97

4.6 多用户信道 98

4.6.1 多址接入信道 99

4.6.2 广播信道 101

习题 102

第5章 香农三大定理 105

5.1 香农第一定理 105

5.2 香农第二定理 108

5.3 香农第三定理 110

第6章 无失真信源编码 112

6.1 信源编码概述 112

6.1.1 信源编码的一般模型 112

6.1.2 信源产生冗余的原因 113

6.2 无失真信源编码概述 115

6.2.1 编码的有关概念 115

6.2.2 几个简单的信源编码器 116

6.2.3 几种常见码 117

6.3 等长码与等长信源编码定理 119

6.3.1 无失真编码条件 119

6.3.2 信源序列渐近均分性 121

6.3.3 信源序列分组定理 122

6.3.4 渐近均分特性 124

6.3.5 等长编码定理 124

6.4 变长编码 126

6.4.1 码树 127

6.4.2 异前置码 127

6.4.3 克拉夫特-麦克米伦不等式 128

6.4.4 变长编码定理 129

6.5 最佳变长编码（霍夫曼编码） 132

6.5.1 二进制霍夫曼编码 133

6.5.2 多进制霍夫曼编码 138

习题 139

第7章 限失真信源编码定理 141

7.1 限失真信源编码概述 141

7.2 限失真信源编码逆定理 147

7.3 保真度准则下的码率压缩标准 149

7.3.1 语音压缩编码标准 149

7.3.2 图像压缩编码标准 154

7.4 几种常用的有损压缩编码技术 160

7.4.1 差分脉冲编码调制（DPCM） 160

7.4.2 预测编码 161

7.4.3 正交变换编码 165

7.4.4 小波变换编码 171

习题 173

第8章 信道编码 175

8.1 信道编码的基本概念 175

8.1.1 检错和纠错原理 175

8.1.2 检错和纠错能力的判断 176

8.1.3 信道编码的分类 177

8.1.4 常用的简单检错纠错码 178

8.2 错误概率 180

8.2.1 译码规则的概念 180

8.2.2 错误概率与译码规则 181

8.2.3 三种译码准则 182

8.2.4 错误概率与编码方法 187

8.3 线性分组码 190

8.3.1 线性分组码的基本概念 190

8.3.2 校验矩阵和生成矩阵 190

8.3.3 汉明码 193

8.3.4 线性分组码的译码 194

8.4 循环码 195

8.4.1 循环码的定义和多项式描述 195

8.4.2 码多项式的运算 196

8.4.3 循环码的生成多项式和生成矩阵 197

8.4.4 循环码的校验矩阵 198

8.4.5 循环码的编码和译码方法 199

8.5 卷积码 201

8.5.1 卷积码的概念 201

8.5.2 卷积码的编码 201

8.5.3 卷积码的图形表示 202

8.5.4 卷积码的译码 204

习题 206

附录A 常用概率公式 208

附录B 詹森不等式 209

参考文献 210