信息论与编码PDF电子书下载

前言 1

第一章 序论 3

1—1什么是信息论（一） 3

1—2什么是信息论（二） 4

1—3信息的编码 5

1—4信息传输中的一个问题 8

1—5一些问题 11

第二章 信息量与信源 14

2—1信息量的定义 14

2—2无记忆信源 16

2—3熵的性质 18

2—4无记忆信源的扩展 23

2—5马尔科夫信源 25

2—6伴随信源 32

2—7马尔科夫信源的扩展 34

2—8语言的构造 39

第三章 代码的性质 55

3—1引言 55

3—2单义可译代码 56

3—3瞬时可译代码 59

3—4瞬时可译代码的构成 62

3—5克瑞弗特不等式 64

3—6克瑞弗特不等式的证明 68

3—7麦克米伦不等式 70

3—8具体例子 71

第四章 信源编码 77

4—1平均码长 77

4—2特殊信源编码的一种方法 80

4—3仙侬第一定理 84

4—4马尔科夫信源的仙侬第一定理 86

4—5不考虑扩展的信源编码 87

4—6二元最简代码的构成法——哈弗曼代码 89

4—7哈弗曼码为最简代码的证明 94

4—8 r元最简代码 96

4—9编码效率和冗长度 99

第五章 信道与互信息量 110

5—1引言 110

5—2信道 111

5—3信道的各种概率关系 115

5—4先验熵与后验熵 118

5—5仙侬第一定理的推广 120

5—6互信息量 125

5—7互信息的性质 127

5—8无噪声信道和确定信道 132

5—9串联信道 135

5—10简化信道与充分简化信道 141

5—11互信息的相加性 147

5—12一些字母的互信息量 153

5—13信道容量 157

5—14条件互信息 162

第六章 提高信道的可靠性——使用低可靠性的信道，以高的可靠性传输信息 178

6—1引言 178

6—2错误概率及判决规则 180

6—3费诺界限 184

6—4提高信道的可靠性——使用低可靠性的信道，以高的可靠性传输信息 187

6—5纠错编码的例子 191

6—6汉明距离 195

6—7关于BSC信道的仙侬第二定理——第一步 198

6—8随机编码——第二步 203

6—9仙侬第二定理——讨论 206

6—10仙侬第二定理——一般情况 210

6—11后记 217

附录（一）符号与熵表达式的一览表 222

附录（二）以2为底的对数表 226

附录（三）熵函数表 228

参考文献 230