信息论基础及应用PDF电子书下载

第1章 绪论 1

1.1信息的基本概念 1

1.1.1信息的不同定义 1

1.1.2信息的特征 4

1.1.3信息的性质 4

1.1.4信息的分类 5

1.1.5信息科学 6

1.2信息论的起源、发展及研究内容 7

1.2.1信息论的起源 7

1.2.2信息技术的发展 7

1.2.3信息论研究的主要内容 9

1.2.4信息论的应用 9

1.3编码理论概述 11

1.3.1编码理论的基本概念 11

1.3.2编码理论的发展 13

1.3.3编码理论研究的内容和目的 13

习题 15

第2章 信息论的数学基础 16

2.1概率论基本知识 16

2.1.1随机事件与概率 16

2.1.2随机变量及其分布 23

2.1.3多维随机变量及其分布 32

2.1.4数学期望与方差 37

2.2随机过程基本知识 40

2.2.1随机过程及其统计描述 40

2.2.2随机过程的数字特征 42

2.3马尔可夫链 43

2.3.1马尔可夫过程及其概率分布 43

2.3.2多步转移概率的确定 46

2.3.3遍历性 48

2.4抽象代数基本知识 50

2.4.1群的基本概念 51

2.4.2环的基本概念 52

2.4.3域的基本概念及域上多项式 54

第3章 信源与信源熵 59

3.1单符号离散信源 59

3.1.1单符号离散信源的数学模型 59

3.1.2概率知识基础 60

3.1.3单符号离散信源的信息量 60

3.1.4互信息量和条件互信息量 63

3.1.5单符号离散信源的信源熵 66

3.1.6信源熵的基本性质和定理 68

3.1.7平均互信息量 72

3.1.8各种熵之间的关系 80

3.2多符号离散平稳信源 81

3.2.1离散无记忆扩展信源 82

3.2.2离散平稳信源的数学定义 84

3.2.3离散平稳信源的信源熵和极限熵 85

3.3马尔可夫信源 88

3.3.1马尔可夫（Markov）链 88

3.3.2马尔可夫信源 89

3.3.3马尔可夫信源熵 91

3.4连续信源 94

3.4.1连续信源的熵 95

3.4.2几种特殊连续信源的熵 97

3.4.3连续熵的性质及最大连续熵定理 99

习题 101

第4章 无失真信源编码 105

4.1信源编码概述 106

4.1.1信源编码的定义 106

4.1.2克拉夫特（Kraft）不等式 109

4.2定长编码 112

4.2.1定长编码定理 112

4.2.2定长编码方法 113

4.3变长编码 116

4.3.1变长编码定理 116

4.3.2变长编码方法 117

4.4几种实用的无失真信源编码 120

4.4.1香农编码 120

4.4.2费诺编码 121

4.4.3哈夫曼编码 123

4.4.4游程编码 131

4.4.5 冗余位编码 134

4.4.6算数编码 136

4.4.7字典编码 138

习题 142

第5章 限失真信源编码 144

5.1失真测度与信息率失真函数 144

5.1.1平均失真度 145

5.1.2信息率失真函数的定义 148

5.1.3信息率失真函数的性质 150

5.2信息率失真函数的计算 154

5.2.1离散信源的率失真函数的计算 154

5.2.2连续信源的率失真函数 162

5.3限失真信源编码定理 167

5.4限失真信源编码简介 168

5.4.1语音信号的预测编码 168

5.4.2图像与视频信号的预测编码 173

习题 180

第6章 信道及信道容量 182

6.1信道模型和分类 182

6.1.1一般信道的数学模型 182

6.1.2信道的分类 182

6.1.3信道容量的定义 183

6.2特殊的单符号离散信道的信道容量 184

6.2.1离散无噪信道的信道容量 184

6.2.2强对称离散信道的信道容量 186

6.2.3对称信道的信道容量 188

6.2.4准对称离散信道的信道容量 190

6.2.5一般离散信道的信道容量 191

6.3多符号离散信道 194

6.3.1多符号离散信道的数学模型 194

6.3.2离散无记忆信道的信道容量 195

6.4多用户信道及连续信道 199

6.4.1多用户信道 199

6.4.2连续信道 201

习题 206

第7章 信道编码 211

7.1信道编码的基本概念 211

7.1.1信道编码的意义 211

7.1.2信道编码的分类 211

7.1.3信道编码的基本原理 212

7.2信道编码定理 213

7.2.1译码规则及错误概率 213

7.2.2信道编码定理 215

7.2.3检错与纠错原理 215

7.2.4检错与纠错方式和能力 217

7.3线性分组码 219

7.3.1概述 219

7.3.2线性分组码的生成矩阵和一致校验矩阵 220

7.3.3线性码的纠错能力 223

7.3.4线性分组码的译码 223

7.3.5汉明码 228

7.4循环码 230

7.4.1循环码的定义及多项式表示 230

7.4.2循环码的生成矩阵和一致校验矩阵 232

7.4.3循环码的编码 234

7.4.4循环码的译码 235

第8章 信息论方法的应用 238

8.1信息论在统计中的应用 238

8.1.1 EM算法 238

8.1.2互熵与Fisher矩阵 241

8.2组合投资决策（Portfolio）中的应用 244

8.2.1组合投资决策问题 244

8.2.2量优组合投资决策的计算 245

8.3最大熵原理在经济学中的应用 247

8.3.1最大熵建模基本原理 247

8.3.2最大熵统计模型的优缺点 249

8.3.3封闭经济体中货币量的分布 249

8.3.4封闭经济体中财富的分布 250

8.4在自然语言中应用 251

8.4.1英语信源的熵和剩余度 251

8.4.2汉语信源的熵和剩余度 253

附录：模拟试题 254

模拟试题一 254

模拟试题一答案 256

模拟试题二 259

模拟试题二答案 261

模拟试题三 265

模拟试题三答案 267

模拟试题四 272

模拟试题四答案 274

参考文献 278