目录 1
第一章 绪论 1
§1.1 信息 1
§1.2 通信系统模型 4
§1.3 信息论的形成和发展 7
第二章 信息的统计度量 11
§2.1 自信息量和条件自信息量 11
§2.2 互信息量和条件互信息量 14
§2.3 离散集的平均自信息量 18
§2.4 离散集的平均互信息量 43
§2.5 连续随机变量的互信息和相对熵 49
习题 56
第三章 离散信源 61
§3.1 信源的数学模型及其分类 61
§3.2 离散无记忆信源 65
§3.3 离散无记忆信源的扩展信源 69
§3.4 离散平稳信源 75
§3.5 马尔可夫信源 80
§3.6 信源的相关性和剩余度 94
习题 96
第四章 离散信道及其容量 102
§4.1 信道的数学模型及其分类 102
§4.2 离散无记忆信道 105
§4.3 离散无记忆扩展信道 118
§4.4 信道的组合 131
§4.5 信道容量 139
习题 163
第五章 无失真信源编码 170
§5.1 编码器 170
§5.2 分组码 173
§5.3 定长码 178
§5.4 变长码 190
习题 222
第六章 有噪信道编码 226
§6.1 噪声信道的编码问题 226
§6.2 错误概率与编码方法 235
§6.3 有噪信道编码定理 245
§6.4 错误概率的上界 253
习题 254
第七章 限失真信源编码 257
§7.1 失真测度 257
§7.2 信息率失真函数 259
§7.3 限失真信源编码定理 266
§7.4 信息率失真函数的计算 276
习题 292
§8.1 连续消息的特征 294
第八章 连续信源和波形信道 294
§8.2 连续信道的信道容量 306
§8.3 连续信道的信道编码定理 314
§8.4 连续信源的信息率失真函数 314
习题 320
第九章 纠错编码 323
§9.1 纠错码的基本概念 323
§9.2 纠错码分类 326
§9.3 线性分组码 329
§9.4 几种重要的纠错码 343
习题 353
第十章 信息论方法在信号处理中的应用 357
§10.1 最大熵谱估计 357
§10.2 最小误差熵估计与卡尔曼滤波 375
参考书目 384