第1章 绪论 1
1.1 信息的基本概念 1
1.1.1 信息、消息及信号 1
1.1.2 信息的定义与度量 3
1.2 信息的基本概念 5
1.2.1 信息论的基本模型 5
1.2.2 信息论的研究目标 6
1.2.3 信息论的研究内容 7
1.3 信息论的发展历程 8
1.4 习题 11
第2章 信源与信息熵 12
2.1 信源的模型与分类 12
2.1.1 一维离散信源 12
2.1.2 多维离散信源 13
2.1.3 一维连续信源 14
2.1.4 多维连续信源 14
2.2 离散信源的度量 15
2.2.1 不确定性 15
2.2.2 信息量的概念 16
2.2.3 信息量的计算 20
2.3 熵的基本性质 27
2.4 离散消息序列的熵 31
2.4.1 序列信息量的表示 31
2.4.2 离散无记忆扩展信源 32
2.4.3 离散平稳信源 33
2.4.4 马尔可夫信源 37
2.5 连续信源的熵和互信息 42
2.5.1 连续/波形信源的统计特性 42
2.5.2 连续信源的差熵 44
2.5.3 波形信源的差熵 46
2.5.4 最大差熵定理 48
2.6 信源相关性与冗余度 50
2.7 习题 53
第3章 信道及信道容量 57
3.1 信道模型及分类 57
3.1.1 信道的概念 57
3.1.2 信道分类 57
3.1.3 离散信道模型 58
3.1.4 一维离散信道模型 59
3.2 信道传输的平均互信息 62
3.2.1 损失熵和噪声熵 62
3.2.2 平均互信息 63
3.2.3 平均条件互信息 65
3.2.4 平均互信息特性 66
3.3 信道容量概念及计算 72
3.3.1 信道容量基本概念 72
3.3.2 简单离散信道的信道容量 73
3.3.3 对称离散信道的信道容量 75
3.4 串/并联信道的信道容量 79
3.4.1 串联信道及信道容量 79
3.4.2 并联信道及信道容量 80
3.4.3 和信道 81
3.5 连续信道及容量 81
3.5.1 单维加性信道 83
3.5.2 多维高斯加性连续信道 85
3.6 信源与信道的匹配 88
3.7 习题 89
第4章 信息率失真函数 93
4.1 失真测度 93
4.1.1 失真度 94
4.1.2 平均失真度 96
4.2 信息率失真函数的概念和性质 97
4.2.1 D允许信道（试验信道） 97
4.2.2 信息率失真函数定义 97
4.2.3 信息率失真函数的性质 98
4.3 信息率失真函数的计算 103
4.4 连续信源的信息率失真函数 110
4.4.1 连续信源的信息率失真函数定义 110
4.4.2 平方误差失真度下高斯信源的信息率失真函数 111
4.5 习题 114
第5章 信源编码 117
5.1 信源编码基本概念 117
5.2 定长编码 121
5.3 变长编码 124
5.3.1 变长码的分类和编码方法 125
5.3.2 克拉夫特不等式 126
5.3.3 变长无失真信源编码定理 127
5.3.4 码的平均长度衡量 128
5.3.5 变长无失真信源编码定理 131
5.4 限失真信源编码定理 133
5.5 变长码编码方法 134
5.5.1 香农编码方法 134
5.5.2 费诺编码 135
5.5.3 霍夫曼编码 138
5.6 习题 142
第6章 信道编码 145
6.1 差错概率及译码分析 145
6.1.1 差错概率分析 146
6.1.2 典型译码规则 147
6.2 错误概率及编码原理 150
6.2.1 重复编码 150
6.2.2 线性分组码 152
6.2.3 汉明距 156
6.3 有噪信道编码定理 157
6.3.1 纠正错误编码的途径一 160
6.3.2 纠正错误编码的途径二 161
6.4 习题 162
第7章 网络信息论简介 164
7.1 网络信道分类 164
7.1.1 多源接入信道 164
7.1.2 广播信道 165
7.1.3 中继信道 166
7.1.4 串扰信道 167
7.1.5 反馈信道 167
7.2 相关信源编码 168
7.2.1 两个相关信源模型 168
7.2.2 相关信源编码定理 169
7.3 多源接入信道 171
7.3.1 多源接入信道的容量 172
7.3.2 相关多源接入信道 174
7.3.3 高斯多源接入信道 176
参考文献 181