信息论导引PDF电子书下载

第一章 引论 1

1.1 信息、消息和信号 1

1.2 信息的特征和性质 2

1.2.1 信息的特征 2

1.2.2 信息的性质 4

1.3 近代信息技术的含义和基本内容 6

1.3.1 近代信息技术的含义 6

1.3.2 信息技术的基本内容 6

1.3.3 信息技术在通信领域中的基本内容 6

1.4 现代信息论的形成和发展简介 8

1.5 预备知识 8

1.5.1 概率论的基本知识 8

1.5.2 随机变量及其统计特性简介 14

1.5.3 马尔可夫链概念 20

第二章 信息论的基本概念 21

2.1 自信息量和互信息量 21

2.1.1 自信息量 21

2.1.2 联合自信息量 22

2.1.3 条件自信息量 22

2.1.4 互信息量 24

2.1.5 互信息量的性质 24

2.2 平均自信息量——熵 25

2.2.1 熵的定义 25

2.2.2 熵函数H（X）的性质 27

2.2.3 二元联合信源的联合熵与条件熵 30

2.3 平均互信息量及其性质 32

2.3.1 平均互信息量的定义 32

2.3.2 平均互信息量的性质 33

2.4 马尔可夫信源的信息熵 35

2.4.1 马尔可夫链 35

2.4.2 马尔可夫信源 37

2.4.3 马尔可夫信源的信息熵 39

2.5 连续随机变量的熵 41

2.5.1 连续随机变量的熵 41

2.5.2 几种特殊连续随机变量的熵 42

2.5.3 连续随机变量的联合熵、条件熵以及平均互信息量 45

2.6 信源熵速率和无噪信道容量 47

2.6.1 信源熵速率 47

2.6.2 无噪信道容量 48

2.7 离散有噪信道中的熵速率和信道容量 51

2.7.1 接收熵速率 51

2.7.2 信道容量 54

2.8 连续有噪信道中的熵速率和信道容量 54

2.8.1 接收熵速率 54

2.8.2 信道容量 55

第三章 信源编码 57

3.1 信源编码概述 57

3.1.1 信源最佳化 58

3.1.2 概率均匀化——最佳编码 58

3.1.3 编码器的描述 59

3.1.4 码的唯一可译性 61

3.2 消息的冗余度 63

3.2.1 相对熵 63

3.2.2 冗余度 63

3.2.3 内熵 63

3.3 定长编码定理和定长编码方法 64

3.3.1 定长无失真编码定理 64

3.3.2 定长编码的效率 65

3.4 变长编码定理 67

3.5 变长编码方法 69

3.5.1 霍夫曼编码 69

3.5.2 费诺编码 74

3.5.3 香农编码 75

3.6 一种实用的无失真信源编码——游程编码 77

3.6.1 游程编码基本原理 77

3.6.2 MH码及其应用 78

第四章 抗干扰二元编码的基本理论与方法 82

4.1 数字通信基础 82

4.1.1 信源／信宿 82

4.1.2 信源编码／解码器 83

4.1.3 信道与干扰 83

4.1.4 调制／解调器 83

4.1.5 信道编码／解码器 84

4.1.6 发射／接收机 84

4.2 信道编码概述 85

4.2.1 信道编码分类 85

4.2.2 信道编码定理 85

4.2.3 有噪信道编码简介 86

4.3 安全编码——密码 88

4.3.1 一种密码体制的定义 89

4.3.2 几种常见密码体制 89

4.4 二进制—致监督编码的基本原理 91

4.4.1 抗干扰码的基本思想 92

4.4.2 抗干扰编码的条件 96

4.4.3 编码规则 103

4.4.4 译码和纠错 108

4.5 编码问题的一般解法 112

第五章 统计信号的滤波 116

5.1 概述 116

5.2 维纳滤波 117

5.2.1 非因果解 119

5.2.2 因果解（频谱因式分解法） 121

5.2.3 正交性 126

5.2.4 离散观测情况 127

5.2.5 离散因果和非因果维纳滤波器 128

5.3 标量卡尔曼滤波 131

5.3.1 引言 131

5.3.2 标量信号模型和观测模型 132

5.3.3 标量卡尔曼滤波算法 133

5.4 最小均方误差准则与最小误差熵准则 138

5.4.1 最小均方误差准则 138

5.4.2 最小误差熵准则 139

5.4.3 误差熵的性质 140

第六章 统计接收中信号检测与估计的基本理论 141

6.1 引言 141

6.2 简单的实例 142

6.3 双择检测及其最佳准则 147

6.3.1 贝叶斯准则 148

6.3.2 最小错误概率准则和最大后验概率准则 150

6.3.3 极大极小化准则 152

6.3.4 纽曼-皮尔逊准则 154

6.4 信号参量估计基本理论 155

6.4.1 经典估计法 156

6.4.2 贝叶斯估计 158

6.4.3 最大后验估计 161

6.4.4 最大似然估计 163

第七章 最大熵原理及其应用 168

7.1 非适定问题与最大熵和最小鉴别信息原理 168

7.1.1 非适定问题的提出 168

7.1.2 最大熵原理与最小鉴别信息原理 168

7.1.3 最大熵原理 169

7.1.4 最小鉴别信息原理 170

7.2 最大熵谱分析法（MEM） 171

7.2.1 最大熵谱估计的基本原理 172

7.2.2 最大熵谱估计算法 175

7.3 最大熵谱估计的简化求解计算法 177

7.3.1 预测误差格型滤波器 178

7.3.2 Burg法 179

7.3.3 Burg法的改进——最小二乘法 179

习题 182

参考文献 191