信息论基础与应用PDF电子书下载

第1章 绪论 1

1.1 信息的基本概念 1

1.1.1 信息的定义 2

1.1.2 信息的特征 4

1.1.3 信息、消息和信号的关系 4

1.2 信息论研究的内容 5

1.2.1 通信系统模型 5

1.2.2 信息论研究的内容 6

1.3 信息论的建立、发展与应用 8

习题一 11

第2章 离散信源 12

2.1 信源的数学模型及分类 12

2.1.1 随机变量描述信源输出的消息 13

2.1.2 随机序列描述信源输出的消息 14

2.1.3 随机过程描述信源输出的消息 15

2.2 离散信源的信息熵 16

2.2.1 自信息 16

2.2.2 信息熵 20

2.2.3 信息熵的基本性质 25

2.3 信息熵的唯一性定理 32

2.4 离散无记忆的扩展信源 33

2.5 离散平稳信源 34

2.5.1 离散平稳信源的数学定义 34

2.5.2 二维平稳信源及其信息熵 35

2.5.3 离散平稳信源的极限熵 38

2.6 马尔可夫信源 40

2.6.1 马尔可夫信源的定义 40

2.6.2 m阶马尔可夫信源 42

2.6.3 马尔可夫信源的信息熵 42

2.7 信源冗余度与自然语言的熵 48

2.7.1 信源冗余度的定义 48

2.7.2 冗余的利用 49

2.8 离散信源的MATLAB实现 51

2.8.1 离散信源的相关原理 51

2.8.2 MATLAB实验内容 51

本章小结 54

习题二 55

第3章 离散信道 59

3.1 信道的基本概念 59

3.1.1 信道的分类 60

3.1.2 离散信道的数学模型 60

3.1.3 单符号离散信道 62

3.2 平均互信息 64

3.2.1 信道疑义度 64

3.2.2 平均互信息 65

3.2.3 平均条件互信息 72

3.2.4 平均互信息的特性 74

3.3 信道容量的计算方法 77

3.3.1 离散无噪信道的信道容量 77

3.3.2 对称离散信道的信道容量 79

3.3.3 一般离散信道的信道容量 82

3.4 离散无记忆扩展信道及其信道容量 85

3.5 串联信道的互信息和数据处理定理 89

3.6 信源与信道匹配 91

3.7 信道容量的MATLAB实现 92

3.7.1 信道容量的相关原理 92

3.7.2 MATLAB实验内容 92

本章小结 94

习题三 94

第4章 连续信源和连续信道 97

4.1 连续信源的熵及其特性 97

4.1.1 连续信源熵的定义 97

4.1.2 连续信源熵的特性 100

4.2 几种连续信源的熵 101

4.3 连续信源的最大熵 105

4.4 熵功率 107

4.5 连续熵的变换 108

4.6 连续信道及其信道容量 109

4.6.1 连续信道的分类 109

4.6.2 连续信道的平均互信息 110

4.6.3 连续信道平均互信息的特性 110

4.6.4 连续信道的信道容量 112

4.6.5 连续信道编码定理 114

本章小结 115

习题四 115

第5章 无失真信源编码 116

5.1 信源编码的基本概念 117

5.1.1 信源编码器 117

5.1.2 信源编码的分类 117

5.1.3 唯一可译变长码与即时码 118

5.2 信源编码定理 122

5.2.1 渐近等分割性和ε典型序列 122

5.2.2 等长信源编码定理 124

5.2.3 变长信源编码定理 127

5.3 信源编码方法 130

5.3.1 香农编码 131

5.3.2 霍夫曼码 131

5.3.3 费诺码 135

5.3.4 香农-费诺-埃利斯码 136

5.4 几种实用的无失真信源编码方法 137

5.4.1 游程编码和MH编码 137

5.4.2 算术编码 140

5.4.3 LZ编码 142

5.5 无失真信源编码的MATLAB实现 143

5.5.1 无失真信源编码相关原理 143

5.5.2 MATLAB实验内容 143

本章小结 148

习题五 149

第6章 有噪信道编码 151

6.1 信道编码的概念 152

6.1.1 译码规则 152

6.1.2 编码方法 156

6.2 香农第二定理 163

6.2.1 有噪信道编码定理 163

6.2.2 有噪信道编码逆定理 164

6.2.3 信源信道编码定理 165

6.3 差错控制概述 165

6.3.1 二元对称信道和错误格式 165

6.3.2 差错控制分类 165

6.3.3 常用差错控制码 166

6.4 信道编码方法 167

6.4.1 线性分组码 167

6.4.2 汉明码 177

6.4.3 循环码 178

6.4.4 卷积码 184

6.5 MATLAB实现循环码编码 186

本章小结 187

习题六 189

第7章 限失真信源编码 191

7.1 失真测度与失真矩阵 192

7.1.1 失真函数 192

7.1.2 失真矩阵 192

7.1.3 平均失真度 194

7.2 信息率失真函数 194

7.2.1 D失真许可信道 194

7.2.2 信息率失真函数的定义 195

7.2.3 信息率失真函数的性质 195

7.3 信息率失真函数的计算 199

7.4 限失真信源编码定理 202

7.4.1 信源编码定理 203

7.4.2 信源编码逆定理 206

7.4.3 联合信源信道编码定理 207

7.4.4 限失真信源编码定理的应用 207

7.5 限失真信源编码 210

7.5.1 预测编码 210

7.5.2 变换编码 212

7.6 信源编码的应用 213

7.6.1 语音信息编码 213

7.6.2 图像信息编码 213

7.6.3 视频信息编码 214

7.7 MATLAB实现率失真函数曲线 217

7.7.1 实验原理 217

7.7.2 实验内容 217

本章小结 219

习题七 219

第8章 信息理论的应用与发展 222

8.1 信息理论的应用 222

8.2 信息论与其他学科的交叉发展 224

8.2.1 密码学的应用 225

8.2.2 金融工程中的信息论问题 228

8.2.3 信息论在决策树中的应用 230

8.2.4 人工智能 236

8.2.5 生命科学 237

8.2.6 统计学 239

8.2.7 网络信息论 239

附录 241

实验一 离散信源的信息熵 241

一、实验设备 241

二、实验目的 241

三、实验原理 241

四、实验内容及要求 241

实验二 离散信道 243

一、实验目的 243

二、实验原理 243

三、实验内容及要求 243

实验三 离散信源编码 244

一、实验目的 244

二、实验原理 244

三、实验内容及要求 244

实验四 信道编码 244

一、实验目的 244

二、实验原理 244

三、实验内容及要求 245

习题一 参考答案 246

习题二 参考答案 247

习题三 参考答案 254

习题四 参考答案 261

习题五 参考答案 262

习题六 参考答案 268

习题七 参考答案 273

上机作业参考答案 281

实验一 离散信源的信息熵 281

实验二 离散信道 283

实验三 离散信源编码 284

实验四 信道编码 287

参考文献 291