信息理论基础PDF电子书下载

目录 1

引论 1

第一部分　数学基础 7

第一章　集合论大要 7

第一节 集合论的基本知识 7

1.1.1　集合的概念 7

1.1.2　集合的运算及其性质 10

1.1.3　集合的分类与一一对应 12

1.1.4　族（类）及其运算 14

1.1.5　直积集合 17

第二节 关系与函数 18

1.2.1 概述 18

1.2.2 函数 23

1.2.3　次序关系（≤） 25

第三节　测度 28

1.3.1　波雷尔族 28

1.3.2　测度 30

1.3.3　可测函数 33

1.3.4　勒贝格积分 34

第一章　习题 36

第二章　概率论大要 42

第一节 概率空间和事件概率 42

2.1.1　概率空间 42

2.1.2　概率的性质 44

第二节 随机变量和分布函数 45

2.2.1　定义 45

2.2.2　离散型分布和连续型分布 47

2.2.3　常见分布举例 49

第三节 数学期望和特征函数 51

2.3.1　数学期望的定义 51

2.3.2　随机变量的数字特征——各阶矩 52

2.3.3　特征函数 57

2.3.4　常见分布的特征函数 59

第四节 随机矢量和多维分布 61

2.4.1　定义 61

2.4.2　随机矢量的特征函数与矩 62

2.4.3　多维分布举例 64

2.4.4　随机变量的独立性 66

2.4.5　随机序列的收敛性 68

第五节 随机变量的变换 72

2.5.1　边缘分布 73

2.5.2　函数变换 73

第六节 条件概率，条件分布函数，条件期望 79

2.6.1　条件概率 79

2.6.2　条件分布函数 80

2.6.3　条件期望 83

第七节 极限定理 88

2.7.1 大数法则 89

2.7.2　中心极限定理 91

2.7.3 小数极限 94

第二章　习题 96

第一节 一般理论 101

3.1.1 随机过程的一般描述方法 101

第三章　随机过程大要 101

3.1.2 可离性，可测性，连续性 102

第二节 独立变量过程 104

第三节 可加过程（独立增量过程） 105

3.3.1 定义 105

3.3.2 正态可加过程 107

3.3.3　帕桑过程 117

3.3.4　勒维过程 122

3.4.1　定义 123

第四节 平稳随机过程 123

3.4.2　相关函数 125

3.4.3　弱平稳过程的谱分解 129

3.4.4　强平稳过程的遍历性 137

第五节 马尔柯夫过程 139

3.5.1　马尔柯夫链 140

3.5.2　马尔柯夫过程 147

3.5.3　高阶马尔柯夫过程 153

第三章　习题 156

第一节 信源特性和分类 164

第四章　信源和信息熵 164

第二部分　仙侬信息论 164

第二节 离散信源的信息熵 178

4.2.1　信息量和熵 178

4.2.2　熵函数的数学特性 183

4.2.3　熵函数的公理构成 193

第三节 互信息和序列的熵 197

4.3.1 两个符号的熵和互信息 197

4.3.2　序列信息的熵 204

第四节 连续信源的熵 210

4.4.1 连续随机变量的熵和信息 211

4.4.2　最大熵定理 215

第四章　习题 224

第五章　信道和信道容量 232

第一节 信道的主要参数和分类 232

第二节 无干扰离散信道 238

第三节　单符号信道 243

5.3.1　信道容量的定义和计算举例 243

5.3.2　离散信道容量的一般计算方法 249

5.3.3 离散信道容量的迭代计算 255

第四节 多符号信道 261

5.4.1 独立并联信道的容量 262

5.4.2　限频限功率高斯信道的容量 264

5.4.3　有公共制约的多符号信道 268

5.4.4　一般信道问题 272

第五节 多用户信道 275

5.5.1　多址接入信道 277

5.5.2　广播信道 286

5.5.3　相关信源的多用户信道问题 291

第五章　习题 295

第六章　信息率失真函数 304

第一节 一般概念和定义 304

第二节 R（D）函数的性质 310

第三节 离散信源的R（D）函数的计算 315

6.3.1　R（D）的参量表达式 316

6.3.2　二元信源和对称失真函数的R（D）函数 319

6.3.3　迭代计算公式 324

第四节 连续信源的R（D）函数 327

6.4.1　定义和一般公式 328

6.4.2　d（x,y）只与（x-y）有关的情况 331

第五节 信息价值 337

第六节 广义信息率失真函数 343

6.6.1　通信系统的性能指标的界 343

6.6.2　一般化信息函数和信息率失真函数 346

6.6.3　通信系统性能指标的界之例 349

第六章　习题 351

第七章　编码定理 358

第一节 无失真离散信源编码定理 359

7.1.1　定长编码定理 360

7.1.2　变长编码定理 368

第二节 限失真信源编码定理 379

7.2.1 D（C）的上界 379

7.2.2　E（β．P）的性质 385

7.2.3 离散无记忆信源的限失真编码定理 390

7.3.1　差错率Pe的上界 392

第三节 离散信道编码定理 392

7.3.2　离散无记忆平稳信道的编码定理 398

7.3.3　E（R）的计算 402

第四节 连续信道的编码定理 411

7.4.1 半连续信道的编码定理 412

7.4.2　连续信道的编码定理 414

7.4.3　高斯信道可靠性函数的计算 418

7.4.4　高斯信道的实际编码问题 423

第五节 信道编码定理的改善 429

7.5.1　差错概率的下界 430

7.5.2　差错率上界的改善 440

7.5.3　差错率下界的改善 445

第六节 多用户信道编码定理 449

7.6.1　二址接入信道的编码定理 450

7.6.2　退化广播信道的编码定理 454

7.6.3　有边信息的编码定理 456

第七章　习题 458

结束语 464