信息论基础 含习题与解答PDF电子书下载

第1章 绪论 1

1.1信息概念和特性 1

1.2熵的概念 2

1.3信息论研究的基本问题和主要内容 3

1.3.1信息论研究的基本问题 3

1.3.2信息论研究内容 4

1.4香农简介 5

1.5本书结构 7

1.6本章小结 7

第2章 数学基础 8

2.1概率论基础 8

2.1.1概率空间 8

2.1.2随机变量与分布函数 11

2.1.3多维随机变量及其分布 13

2.1.4数字特征 18

2.1.5大数定律及中心极限定理 21

2.2马尔可夫链 24

2.2.1有限状态马氏链 24

2.2.2状态转移概率 24

2.2.3齐次马氏链 25

2.2.4马氏链的平稳分布 27

2.3凸函数和常用不等式 28

2.3.1凸函数 28

2.3.2常用不等式 30

2.4本章小结 32

习题 33

第3章 信息度量和熵 36

3.1自信息、条件自信息和联合自信息 36

3.1.1自信息 36

3.1.2条件自信息 38

3.1.3联合自信息 39

3.2互信息和信息散度 39

3.2.1互信息定义 39

3.2.2互信息的性质 40

3.2.3条件互信息 41

3.2.4信息散度 41

3.3离散集合的平均信息量（熵） 43

3.3.1信息熵 43

3.3.2条件熵 44

3.3.3联合熵 44

3.3.4熵的基本性质 45

3.3.5各类熵的关系 49

3.3.6熵函数的唯一性 51

3.3.7通信系统中熵的意义 51

3.4平均互信息 53

3.4.1平均互信息定义 53

3.4.2平均互信息与熵的关系 54

3.4.3平均互信息的性质 56

3.4.4多随机变量的互信息 61

3.5本章小结 69

习题 70

第4章 信源和熵 74

4.1信源的分类与数学模型 74

4.1.1信源的分类 74

4.1.2信源的数学模型 74

4.2离散信源 75

4.2.1离散无记忆信源和熵 75

4.2.2离散平稳信源和熵 76

4.2.3马尔可夫信源 79

4.2.4信源的冗余度 84

4.3连续信源 86

4.3.1连续信源的熵与平均互信息 86

4.3.2连续随机变量信息散度 90

4.3.3几种特殊分布连续信源熵 90

4.3.4最大熵定理 94

4.3.5熵功率 96

4.3.6随机矢量通过线性系统后信息的变化 96

4.3.7符号持续时间不同信源的熵 99

4.4本章小结 102

习题 104

第5章 信道与信道容量 107

5.1信道的特性及其分类 107

5.1.1信道模型 107

5.1.2信道分类 107

5.2离散信道及其容量 108

5.2.1离散信道数学模型 108

5.2.2离散信道容量 111

5.2.3多符号离散信道的容量 124

5.3连续/波形信道及其容量 126

5.3.1加性噪声信道和容量 127

5.3.2加性高斯信道和容量 129

5.3.3加性非高斯信道的容量 130

5.3.4多维无记忆加性高斯信道 133

5.3.5限频限功率高斯信道的容量 136

5.3.6香农信道编码定理 139

5.4本章小结 140

习题 142

第6章 无失真信源编码 145

6.1信源编码简介 145

6.2离散信源定长编码 147

6.2.1典型序列与信源序列的渐近均分特性 148

6.2.2定长编码定理 150

6.2.3定长码参数 151

6.3离散信源变长编码 152

6.3.1变长码的唯一可译性和即时性 153

6.3.2 Kraft不等式 154

6.3.3变长编码定理 156

6.3.4变长码参数 157

6.4平稳信源和Markov信源的编码 158

6.4.1平稳信源的编码 158

6.4.2马尔可夫信源的编码 159

6.5变长编码方法 161

6.5.1香农编码 161

6.5.2 Fano编码 162

6.5.3 Huffman编码 162

6.5.4实用的信源编码方法 166

6.6本章小结 169

习题 170

第7章 限失真信源编码 174

7.1系统模型和失真测度 175

7.1.1系统模型 175

7.1.2失真测度 175

7.1.3失真函数举例说明 176

7.2信息率失真函数 177

7.2.1定义 177

7.2.2信息率失真函数的性质 177

7.2.3简单信源的信息率失真函数 180

7.3离散信源R（D）计算 188

7.3.1离散信源信息率失真函数的参量表示 188

7.3.2离散信源R（D）求解矢量/矩阵表示 190

7.3.3参量s的意义 191

7.3.4离散信源R（D）的迭代计算 194

7.4连续信源的信息率失真函数 196

7.4.1连续信源的平均失真函数 196

7.4.2 d（x，y）只与x-y有关情况下率失真函数的求解 198

7.4.3高斯信源的率失真函数 199

7.4.4限带高斯信源的率失真函数 201

7.4.5一般信源率失真函数的上限和下限 202

7.5限失真信源编码定理 202

7.6本章小结 205

习题 207

第8章MIMO信道模型及容量 210

8.1引言 210

8.2无线信道特性 210

8.2.1路径损耗 211

8.2.2信道衰落 213

8.2.3信道扩展 215

8.2.4信道相关性 217

8.3 MIMO信道模型 222

8.3.1常见信道模型 222

8.3.2基本信道模型 224

8.3.3扩展信道模型 226

8.4 MIMO信道容量 228

8.4.1确定性MIMO信道 228

8.4.2随机性MIMO信道 232

8.5本章小结 236

习题 238

第9章 数字喷泉码 240

9.1信道模型 241

9.1.1删除信道 241

9.1.2无线信道 242

9.2数字喷泉码的数学描述 242

9.2.1数字喷泉码的定义 242

9.2.2数字喷泉码的Tanner图 243

9.2.3数字喷泉码的度分布函数 244

9.3典型的数字喷泉码 245

9.3.1 LT码 245

9.3.2 Raptor码 246

9.4数字喷泉码的译码算法 247

9.4.1删除信道中的译码算法 247

9.4.2无线信道中的译码算法 248

9.5数字喷泉码的密度演化分析方法 250

9.5.1删除信道中的密度演化 250

9.5.2无线信道中的密度演化 253

9.6本章小结 256

参考文献 258