第1章 绪论 1
1.1几个概念和信息论的研究内容 1
1.2概率论相关知识 3
1.2.1概率空间与随机变量 4
1.2.2事件独立性与联合概率空间 8
1.2.3离散概率空间 13
1.2.4随机序列与马尔可夫链 16
1.2.5伯努利试验与伯努利大数定律 18
1.3凸函数与詹森不等式 20
习题1 22
第2章 离散信源及其数量关系 23
2.1离散信源与信息的数学模型 23
2.1.1发出仅含一个符号的信息的信源 23
2.1.2发出N个符号的信息的信源 24
2.1.3离散信源 25
2.1.4离散平稳信源 26
2.1.5马尔可夫信源 27
2.1.6离散平稳无记忆信源 28
2.2事件的信息量 30
2.3平均自信息——熵 33
2.3.1熵的定义 33
2.3.2熵的性质 35
2.3.3离散平稳信源的极限熵 39
2.3.4 m阶马尔可夫信源的极限熵 42
2.3.5离散平稳无记忆信源的极限熵 43
习题2 44
第3章 信源编码 45
3.1编码定义及相关概念 45
3.2扩展编码与简单等长无错编码 48
3.2.1扩展编码 48
3.2.2简单等长无错编码 49
3.2.3分组等长编码 50
3.3离散平稳无记忆信源的等长编码 51
3.3.1典型序列与渐进等分割性 51
3.3.2等长编码定理 55
3.4离散平稳信源的不等长编码 58
3.4.1即时码的定义 59
3.4.2码树与即时码的构造 60
3.4.3即时码的存在定理 61
3.4.4离散平稳信源的不等长编码举例及存在问题 62
3.5最佳码与近似最佳码 64
3.5.1平均码长 64
3.5.2最佳码 66
3.5.3离散平稳无记忆信源的近似最佳即时码 66
3.5.4一般离散平稳信源的近似最佳即时码 70
3.5.5 m阶马尔可夫信源的近似最佳即时码 72
3.5.6霍夫曼码 72
习题3 77
第4章 离散信道及其数量关系 78
4.1信道的数学模型 78
4.2互信息 81
4.2.1互信息的概念 82
4.2.2互信息的性质 85
4.3信道容量 90
4.3.1信道容量的概念 90
4.3.2信道容量的计算 91
习题4 94
第5章 信道编码 95
5.1信道编码的基础理论 95
5.1.1信道编码概述 95
5.1.2信道译码方式及译码准则 97
5.1.3渐近等分割性与信道编码定理 100
5.2群码 106
5.2.1分组编码 107
5.2.2群及模2运算 108
5.2.3群码的构造 109
5.2.4群码的应用举例 114
5.3循环码 115
5.3.1相关代数知识 115
5.3.2循环码的构造 118
5.3.3简单循环码 124
习题5 127
第6章 密码学 128
6.1密码学的基础理论 128
6.1.1密码系统 128
6.1.2香农密码学理论 132
6.2分组密码 141
6.2.1文字的基础准备 141
6.2.2编制分组密码的几种基本变换 143
6.2.3密钥的选取和分组密码的编制 153
6.3公钥密码 158
6.3.1数论简单知识 159
6.3.2 RSA公钥密码系统 162
习题6 166
参考文献 168
习题参考答案 169