第1章 绪论 1
1.1信息的概念和主要特征 1
1.1.1概述 1
1.1.2信息的基本概念和特征 2
1.1.3信息论的基本内容 3
1.2通信系统的模型 3
1.2.1通信系统模型 4
1.2.2提高通信系统技术指标的措施 5
1.3.1仙农信息论所研究的问题 6
1.3仙农信息论所研究的问题 6
1.3.2仙农信息论的特点 7
1.4仙农信息论形成与发展 7
1.4.1技术背景 7
1.4.2理论背景 7
1.4.3仙农的主要工作 7
1.4.4仙农信息论发展 8
1.4.5信息论的应用 9
1.5仙农生平简介与研究风格 9
1.5.1仙农生平简介 9
1.5.2仙农的学术风格 10
2.1自信息和条件自信息 11
2.1.1自信息 11
第2章 离散信息的度量 11
2.1.2联合自信息 12
2.1.3条件自信息 12
2.2互信息和条件互信息 13
2.2.1互信息 13
2.2.2互信息的性质 13
2.2.3条件互信息 14
2.3.2条件熵 15
2.3.3联合熵 15
2.3离散集合的平均自信息（熵） 15
2.3.1信息熵 15
2.3.4信息熵与热熵的关系 16
2.4熵的基本性质 16
2.4.1凸函数 16
2.4.2信息散度 18
2.4.3熵的基本性质 19
2.4.4各类熵的关系 20
2.5.2平均互信息 21
2.5.1集合与事件之间的互信息 21
2.4.5熵函数的惟一性 21
2.5离散集的平均互信息 21
2.5.3平均互信息与熵的关系 22
2.5.4平均互信息的性质 22
2.5.5平均条件互信息 24
本章小结 25
习题 26
3.1.2信源的数学模型 30
3.1.1信源的分类 30
3.1信源的分类与数学模型 30
第3章 离散信源 30
3.2离散无记忆信源 31
3.2.1单符号离散无记忆信源 31
3.2.2多维离散无记忆信源 32
3.3离散无记忆信源的扩展源 32
3.3.1N次扩展源 32
3.3.2N次扩展信源的熵 33
3.4无限离散信源 33
3.4.1无限离散信源的均值和熵 33
3.5概率分布的信息生成函数 35
3.6离散平稳信源 36
3.6.1概述 36
3.6.2平稳有记忆N次扩展源的熵 37
3.7马尔可夫信源 39
3.7.1有限状态马氏链 39
3.7.2状态转移概率 39
3.7.3齐次马氏链 40
3.7.4Kolmogorov-Chapman方程 41
3.7.5马氏链状态分类 42
3.7.6马氏链的平稳分布 43
3.7.7马尔可夫信源 45
3.7.8马尔可夫信源熵的计算 47
3.8信源的剩余度 52
3.8.1信源的相关性 52
3.8.2信源剩余度（冗长度） 53
本章小结 53
附录 定理3.4.2的证明 54
习题 55
4.1.2信道的分类 59
4.1.1信道模型 59
4.1信道模型及其分类 59
第4章 离散信道及其容量 59
4.2离散无记忆信道 61
4.2.1一般信道的数学模型 61
4.2.2离散无记忆信道 61
4.2.3平稳（或恒参）信道 61
4.2.4单符号离散信道 61
4.2.5离散无记忆扩展信道 63
4.3扩展信道输入与输出平均互信息 64
4.4级联信道 67
4.5离散无记忆信道容量 69
4.5.1信道容量的定义 69
4.5.2离散无噪信道的容量 69
4.5.3信道容量的计算 70
4.5.4离散对称信道的容量 73
4.5.5离散无记忆N次扩展信道的容量 76
4.5.6离散并联信道的容量 76
4.5.7和信道的容量 76
4.6信道容量的迭代计算 78
4.5.8关于信道容量的注释 78
本章小结 80
附录 定理4.5.1的证明 82
习题 83
第5章 无失真信源编码 87
5.1概述 87
5.1.1无失真信源编码的分类 87
5.1.2信源编码器模型 87
5.1.3简单信源编码器举例 88
5.2.1分组码的性质 89
5.2分组码 89
5.2.2码树 90
5.3定长码 91
5.3.1无失真编码条件 91
5.3.2信源序列分组定理 92
5.3.3渐进均分特性 94
5.3.4定长码信源编码定理 94
5.4变长码 97
5.4.1异前置码的性质 97
5.4.2变长码信源编码定理 99
5.5.1二元哈夫曼（Huffman）编码 102
5.5最优码 102
5.5.2多元哈夫曼编码 105
5.5.3马氏源的编码 106
5.6算术编码 108
5.6.1积累概率 108
5.6.2算术编码的性能 112
5.6.3算术编码和译码算法 113
5.6.4一般马氏源的算术编码 115
5.6.5算术编码算法实现中的技术问题 116
5.7 L-Z编码 116
5.7.2一种简化的LZW算法 117
5.7.1L-Z算法简介 117
5.8文本树加权编码 121
5.8.1二元序列概率的估计 121
5.8.2树信源和文本树 121
5.8.3文本树加权编码的实现 125
5.8.4文本树加权编码的性能评估 126
本章小结 126
本章参考文献 128
习题 128
6.1概述 131
第6章 有噪信道编码 131
6.1.1信息传输速率 132
6.1.2单符号判决规则 133
6.1.3译码错误概率 133
6.2常用判决准则 134
6.2.1最大后验概率准则 134
6.2.2最大似然准则 134
6.3费诺（Fano）不等式 136
6.3.1信道疑义度 136
6.3.2费诺不等式 136
6.4.1汉明距离 138
6.3.3序列费诺不等式 138
6.4序列的最佳译码准则 138
6.4.2序列最大似然译码 139
6.5有噪信道编码定理 140
6.5.1联合典型序列 140
6.5.2有噪信道编码定理 141
6.5.3无失真信源信道编码定理 144
本章小结 145
习题 146
7.1.1连续随机变量的离散化 150
7.1连续随机变量的互信息 150
第7章 连续信息与连续信源 150
7.1.2连续随机变量的互信息 151
7.1.3连续集合平均互信息的性质 152
7.2连续随机变量集合的熵 152
7.2.1连续随机变量集合的熵 152
7.2.2差熵的性质 154
7.2.4差熵与平均互信息的关系 156
7.2.5线性变换下平均互信息的不变性 156
7.2.3信息散度 156
7.3离散时间高斯信源的熵 157
7.3.1一维高斯随机变量集合的熵 157
7.3.2多维独立高斯随机变量集合的熵 157
7.3.3多维相关高斯随机变量集合的熵 157
7.3.4复高斯信源的熵 159
7.4连续最大熵定理 161
7.4.1限功率最大熵定理 161
7.4.2限峰值最大熵定理 162
7.5连续时间波形的正交展开 163
7.6.1限带高斯白噪声信源的熵 166
7.6连续时间信源的熵 166
7.6.2限带高斯信源的熵 167
7.6.3熵功率 168
7.7最大熵原理与最大熵谱估计 168
7.7.1最大熵原理 169
7.7.2最大熵谱估计 169
7.8离散集合与连续集合之间的互信息 171
7.8.1离散事件x与连续事件y之间的互信息 171
7.8.2离散集合X与连续集合Y的平均互信息 171
本章参考文献 172
本章小结 172
附录 复矢量到实矢量的变换及其性质 173
习题 173
第8章 波形信道 176
8.1离散时间连续信道 176
8.1.1加性噪声信道 177
8.1.2加性高斯噪声信道 177
8.1.3容量代价函数 178
8.1.4离散时间信道的容量 179
8.1.5一般加性噪声信道容量界 180
8.1.6并联加性高斯噪声信道 181
8.2数字基带波形的正交展开 183
8.3AWGN信道的容量 185
8.3.1加性高斯噪声信道 185
8.3.2波形信道的互信息与容量 186
8.3.3AWGN信道的容量 187
8.3.4高斯噪声信道编码定理 190
8.3.5功率利用率和频谱利用率的关系 191
8.4有色高斯噪声信道 193
8.5数字调制系统的信道容量 196
8.5.1PAM调制系统的信道容量 196
8.5.2二维数字调制的信道容量 199
8.5.3BPSK调制的信道容量 202
8.6复高斯信道容量 203
8.7接近信道容量界的编码 205
8.7.1Turbo码 205
8.7.2LDPC码 206
本章小结 207
本章参考文献 208
习题 209
9.1.1系统模型 213
9.1概述 213
第9章 信息率失真函数 213
9.1.2失真测度 214
9.2息率失真函数 215
9.2.1信息率失真函数 215
9.2.2 R(D)的性质 216
9.3限失真编码定理 219
9.3.1编码速率的压缩 219
9.3.2限失真信源编码定理 220
9.3.3限失真信源信道编码定理 222
9.4离散信源信息率失真函数的计算 223
9.4.1 R(D)参量表示法求解 224
9.4.2方程的解法 225
9.4.3参量s的意义 226
9.5连续信源信息率失真函数 229
9.5.1信息率失真函数与性质 229
9.5.2 R(D)函数的计算 229
9.5.3差值失真测度 231
9.6高斯信源的R(D)函数 231
9.6.1离散时间无记忆高斯信源 232
9.6.2独立并联高斯信源 233
9.6.3有记忆高斯信源 235
9.6.4时间连续高斯信源 236
9.6.5限带高斯信源 237
9.7一般连续信源R(D)函数 238
9.8有损数据压缩 238
9.8.1量化 239
9.8.2最佳速率分配 239
9.8.3预测编码 240
9.8.4子带编码 241
本章小结 242
9.8.5变换编码 242
附录1 关于Pe的计算 243
附录2 定理9.7.1的证明 245
本章参考文献 246
习题 247
第10章 有约束信道及其编码 250
10.1标号图及性质 250
10.1.1标号图的基本概念 251
10.1.2标号图的变换 253
10.2.2等时长符号有约束信道的容量 257
10.2.1有约束信道容量的定义 257
10.2有约束信道的容量 257
10.2.3不等时长无约束信道的容量 259
10.2.4不等时长有约束信道的容量 259
10.2.5马氏源的最大熵 261
10.3有约束序列的性质 262
10.3.1信道的约束 262
10.3.2游程长度受限序列（RLL） 263
10.3.3部分响应最大似然（PRML）序列 265
10.3.4直流平衡序列 266
10.4.1有约束信道编码定理 268
10.3.5其他频域受限序列 268
10.4有约束信道编码定理 268
10.4.2编码器的描述 270
10.4.3近似特征矢量 271
10.4.4一致状态分裂 272
10.4.5有限状态编码定理 273
10.5有约束系统的编码 274
10.5.1编码器性能指标 274
10.5.2块编码器 275
10.5.3确定性编码器 277
10.5.4有限类型编码器 278
10.5.5直流平衡序列编码系统 279
10.5.6滑动块译码器 281
10.6有约束序列编码实例 282
10.6.1（d,k）块码编码系统 282
10.6.2实用的直流平衡序列 284
10.6.3无直流游程受限序列 284
10.6.4有约束序列在家用电子产品中的应用 284
本章小结 285
附录 定理10.2.2的证明 285
习题 287
本章参考文献 287
第11章 空时信道的容量与空时码 290
11.1空时无线系统 290
11.2衰落多径信道的统计模型 291
11.2.1多径信道描述参数 291
11.2.2频率非选择性信道 292
11.2.3频率选择性信道 293
11.2.4衰落信号分量的统计模型 294
11.3确定性MIMO信道的容量 295
11.3.1MIMO信道模型 295
11.3.2发射机未知CSI的容量 296
11.3.3发射机已知CSI的容量 297
11.3.4SIMO系统的容量 298
11.3.5MISO系统的容量 299
11.4衰落MIMO信道的容量 300
11.4.1容量的定义 300
11.4.2容量的计算 301
11.4.3影响信道容量的因素 304
11.5.1CSI对发射机和接收机均已知情况 305
11.5.2信道状态仅对接收机已知的情况 305
11.5空时接收机 305
11.6空时信道的编码 308
11.6.1空时编码器 308
11.6.2空时块码 309
11.6.3空时格码 311
11.6.4空间复用编码 312
11.6.5可达容量的比较 313
本章小结 313
本章参考文献 314
习题 314
参考文献 317