信息基础理论解析PDF电子书下载

第1章 信息论概述 1

1.1信息论与信息科学 3

1.2信息的概念与性质 5

1.2.1信息的概念 5

1.2.2信息的性质 9

1.2.3信息、消息及信号 9

1.3信息论研究的对象、目的和内容 11

1.3.1信息论研究的对象 11

1.3.2信息论研究的目的 13

1.3.3信息论研究的内容 14

1.4信息论的发展历程 16

1.4.1信息论的酝酿 16

1.4.2信息论的建立 18

1.4.3信息论的发展 19

1.4.4香农及其贡献 19

第2章 信息的统一度量 21

2.1自信息 24

2.1.1自信息 24

2.1.2条件自信息 26

2.2信息熵 26

2.2.1熵的定义 27

2.2.2熵的性质 30

2.2.3联合熵 34

2.2.4条件熵 35

2.3互信息 36

2.3.1互信息的定义 36

2.3.2互信息的性质 37

2.4平均互信息 38

2.4.1平均互信息的定义 39

2.4.2平均互信息的性质 40

2.5各种信息度量之间的关系 45

2.6扩展信源的信息度量 46

2.7连续随机变量的信息度量 48

第3章 信源 57

3.1信源的分类 60

3.2信源的数学描述 61

3.2.1用随机变量描述离散消息 61

3.2.2用随机矢量描述离散序列 62

3.2.3用随机过程描述波形信源 64

3.3马尔可夫信源 65

3.3.1马尔可夫信源定义 65

3.3.2状态转移概率及描述 65

3.3.3切普曼—柯尔莫戈洛夫方程 68

3.3.4马尔可夫链的状态分类 69

3.3.5马尔可夫链的遍历性 70

3.3.6离散马尔可夫信源的熵 70

3.4信源的相关性和剩余度 74

第4章 信道 79

4.1信道的分类 82

4.2信道的数学描述 85

4.2.1离散信道模型 86

4.2.2连续信道模型 89

4.2.3波形信道模型 90

4.3信道疑义度和噪声熵 91

4.4信道的组合 92

4.4.1串联信道 92

4.4.2 并联信道 95

4.5信道容量 96

4.5.1信道容量的定义 97

4.5.2简单离散信道的信道容量 98

4.5.3对称离散信道的信道容量 101

4.5.4组合信道的信道容量 104

4.5.5一般离散信道的信道容量 106

4.5.6离散无记忆信道容量的迭代算法 118

4.5.7连续型信道的信道容量 126

4.6信源与信道的匹配 136

第5章 信源编码 143

5.1信源编码的基本概念 146

5.2唯一可译性的判决问题 151

5.2.1唯一可译性的存在性判决 151

5.2.2唯一可译码判断准则 152

5.3无失真信源编码 154

5.3.1等长码的编码长度 154

5.3.2等长无失真信源编码定理 156

5.3.3变长无失真信源编码定理（香农第一定理） 160

5.3.4变长码的常用编码方法 168

5.4限失真信源编码 176

5.4.1失真测度 176

5.4.2信息率失真函数 181

5.4.3信息率失真函数的计算 187

5.4.4限失真信源编码定理（香农第三定理） 188

第6章 信道编码 199

6.1信道编码的基本概念 202

6.1.1编码信道 202

6.1.2译码准则 202

6.1.3错误概率 203

6.1.4码字空间 204

6.1.5汉明距离 204

6.1.6纠检错能力 205

6.2两种典型的译码准则 206

6.2.1最大后验概率准则 206

6.2.2最大似然译码准则 207

6.3有噪信道编码定理（香农第二定理） 210

6.4信源信道联合编码定理 211

6.5信道编码 212

6.5.1奇偶校验码 213

6.5.2简单重复码 216

6.5.3线性分组码 218

6.5.4循环码 220

6.5.5卷积码 223

第7章 网络信息论 235

7.1网络信道的分类 239

7.1.1多源接入信道 239

7.1.2广播信道 240

7.1.3中继信道 240

7.1.4串扰信道 241

7.1.5反馈信道 241

7.2网络信道的容量 242

7.3网络编码的基本原理 250

7.3.1网络编码相关概念 251

7.3.2网络编码的优点 252

7.3.3网络编码的构造算法及发展方向 258

7.3.4网络编码的适用条件 265

第8章 信息论的应用 267

8.1生物信息学 269

8.1.1核酸序列分析 271

8.1.2蛋白质序列分析 271

8.1.3生物医学成像 272

8.2信息光学 279

8.2.1光学全息 281

8.2.2光学信息处理 283

8.2.3光通信 286

8.3信息论与密码学 288

8.3.1保密系统的数学模型 290

8.3.2传统加密技术 291

8.3.3现代加密技术 295

8.4经济信息学 298

8.4.1香农的投资之路 299

8.4.2凯利公式 302

8.4.3优化投资组合——马科维茨理论 304

8.4.4优化投资组合的熵理论 306

8.5信息论与管理 307

8.5.1管理的最简信息模型 308

8.5.2复杂管理信息模型构造 312