信息论与编码简明教程PDF电子书下载

1随机变量及其信息度量 1

1.1 离散随机变量及其分布 1

1.2 凸函数 4

1.3 随机事件的自信息量 8

1.4 熵 11

1.5 互熵或互信息 20

1.6 熵函数的凹凸性 24

1.7 连续型随机变量的熵 27

习题 33

2离散信源信息度量 36

2.1 数学模型 37

2.2 离散无记忆信源 38

2.3 离散平稳信源 39

2.4 离散马尔可夫信源 40

2.5 信源的冗余度 47

习题 48

3离散信道及其容量 50

3.1 信道模型 50

3.2 离散信道 51

3.3 离散无记忆信道容量 52

3.4 信道组合 64

3.5 信道容量的迭代法 69

习题 72

实验习题 74

4无失真信源编码 75

4.1 编码模型与概念 75

4.2 信源序列的渐近等分性 79

4.3 定长码 84

4.4 变长码 86

4.5 LZ及LZW编码 108

习题 114

实验习题 117

阅读材料：实数的各种进位表示 117

5离散信道编码 120

5.1 模型与概念 120

5.2 有噪信道编码定理 126

5.3 信道分组编码 128

5.4 二元线性分组码 132

习题 141

实验习题 142

6有失真信源编码 143

6.1 失真测度与失真编码 143

6.2 平稳有失真信源率失真函数 146

6.3 率失真函数求法 150

6.4 有失真信源编码定理 156

6.5 变换编码 157

习题 160

实验习题 161

参考文献 162

符号说明 163