第一部分 信息科学概论 1
第一章 信息科学与信息技术概论 3
§1.1 信息的定义与特征 3
1.1.1 信息的定义 3
1.1.2 信息的特征 4
1.1.3 信息的类型与表达方式 6
§12 信息科学、信息技术与信息产业 7
1.2.1 信息科学的研究内容、目的与意义 7
1.2.2 信息技术与信息产业 11
§1.3 信息论的产生、发展与应用 13
1.3.1 信息论的早期酝酿 14
1.3.2 香农（Shannon）信息论的建立与发展 16
1.3.3 信息论与信息科学的发展趋势与展望 23
§1.4 本书的内容简介与符号说明 26
1.4.1 内容简介 26
1.4.2 有关问题的说明 28
§1.5 习题 29
2.1.2 信息度量的原则 31
2.1.1 信息的可度量性 31
§2.1 信息度量问题概述 31
第二章 信息的度量问题 31
§2.2 香农熵——随机变量的不确定性度量 32
2.2.1 随机变量和它的不确定性 32
2.2.2 不确定性的特征表示与香农熵的产生 33
2.2.3 香农熵的简单性质与例子 36
2.2.4 联合熵与条件熵 36
§2.3 熵的基本性质 39
2.3.1 对数函数的基本不等式与熵函数的最大值 40
2.3.2 熵函数的可加性 41
2.3.3 信息论中的重要不等式 42
§2.4 互熵与互信息 45
2.4.1 互熵的定义与性质 45
2.4.2 互信息的定义与性质 46
2.4.3 条件互信息的定义与性质 47
§2.5 连续型随机变量的信息量 49
2.5.1 关于连续型随机变量信息量的推广问题 49
2.5.2 连续型随机变量的熵与互信息 50
2.5.3 若干连续型随机变量熵的计算公式 51
2.5.4 其他连续型随机变量的信息量 54
2.6.1 最大熵原理的一般方法 55
§2.6 最大熵原理 55
2.6.2 最大熵分布的求解问题 56
§2.7 习题 58
第二部分 信息论基础 61
第三章 通信系统概论 63
§3.1 通信系统的基本模型与要素 63
3.1.1 通信系统的基本要素 63
3.1.2 通信系统中信息的传递过程 64
3.2.1 信源与信道的概率统计模型 65
§3.2 单字母表通信系统的概率统计模型 65
3.1.3 通信系统的概率统计模型 65
3.2.2 通信系统的数学模型 67
3.2.3 由通信系统决定的随机变量 68
§3.3 通信系统的序列模型与编码问题 69
3.3.1 通信系统的序列模型 69
3.3.2 通信系统序列中的编码问题 71
3.3.3 关于编码理论的基本要点 72
§3.4 习题 73
§4.1 信源编码的基本问题 75
4.1.1 信源编码的基本要求与分类 75
第四章 信源编码问题 75
4.1.2 即时码与前缀码 78
§4.2 变长码的编码问题 80
4.2.1 变长码的平均码长与编码问题 80
4.2.2 Kraft不等式 81
4.2.3 变长码的平均码长估计问题 84
§4.3 哈夫曼（Huffman）码与算术码 86
4.3.1 哈夫曼码的构造运算 86
4.3.2 算术码 90
4.4.1 通用码的一般概念 91
§4.4 通用码简介 91
4.4.2 LZW码的编码运算 92
4.4.3 LZW码的译码运算 94
4.4.4 Yang-Kieffer码简介 95
4.4.5 通用码的一般理论 97
§4.5 信源定长码的编码定理 98
4.5.1 信源序列的一般编码问题 98
4.5.2 信源序列的一般编码定理 100
4.5.3 无记忆信源序列的编码定理 100
§4.6 习题 102
5.1.1 通信中编码的数量与质量关系问题 105
§5.1 信道编码问题 105
第五章 信道编码定理 105
5.1.2 信道序列的编码问题 107
§5.2 离散无记忆信道 112
5.2.1 信道容量 112
5.2.2 几种典型的无记忆信道 113
5.2.3 无记忆信道序列的信道容量 115
§5.3 信道序列的正、反编码定理 117
5.3.1 一般信道序列的正、反编码定理 118
5.3.2 无记忆信道的正、反编码定理 122
5.4.1 拉格朗日乘子法 124
§5.4 信道容量的计算问题 124
5.4.2 信道容量的递推计算法 128
§5.5 可加高斯信道 132
§5.6 习题 135
第六章 有失真的信源编码定理 139
§6.1 有失真信源编码问题 139
6.1.1 有失真信源编码问题的意义 139
6.1.2 有失真信源的率失真函数 140
6.1.3 有失真信源的编码问题 144
6.2.1 一般信源序列的正编码定理 146
§6.2 有失真信源编码定理 146
6.2.2 一般信源序列的反编码定理 148
6.2.3 无记忆信源序列的正、反编码定理 150
§6.3 率失真函数的计算问题 154
6.3.1 计算率失真函数的一般方法 154
6.3.2 几种特殊信源的率失真函数的计算 156
§6.4 习题 159
第三部分 信息论应用 161
§7.1 代数码理论的基本特点与应用 163
7.1.1 代数码的基本特点 163
第七章 编码与密码 163
7.1.2 线性码 169
7.1.3 线性码的译码问题 175
7.1.4 汉明码 177
§7.2 信息论与密码学 179
7.2.1 密码学的发展概况 180
7.2.2 密码体制的基本要素与模型 181
7.2.3 对密码体制的随机分析 183
7.2.4 几种典型的密码体制 186
§7.3 习题 189
8.1.1 数据压缩问题概述 193
第八章 数据压缩与卷积码 193
§8.1 数据压缩理论的应用 193
8.1.2 静态图像数据压缩的基本运算 194
8.1.3 数据压缩技术分析的主要指标 198
8.1.4 数据压缩中的其他问题 199
§8.2 卷积码 200
8.2.1 卷积码的构造 200
8.2.2 卷积码的树与格子结构 204
8.2.3 卷积码的译码算法 208
§8.3 习题 211
9.1.1 概况 213
9.1.2 EM算法 213
第九章 信息论在统计与金融领域中的应用 213
§9.1 信息论在统计中的应用 213
9.1.3 互熵与Fisher矩阵 218
§9.2 组合投资决策（Portfolio）中的应用 221
9.2.1 组合投资决策问题 221
9.2.2 最优组合投资决策的计算 222
§9.3 习题 225
10.1.1 汉字的分类问题 227
§10.1 汉字编码问题 227
第十章 几种实用的编码问题 227
10.1.2 汉字的编码类型 228
10.1.3 汉字的形、音结构 228
10.1.4 汉字编码的应用 228
§10.2 图形码概述 229
第四部分 信息处理实验 231
第十一章 无失真与有失真信源编码实验 233
§11.1 无失真的数据压缩 233
11.1.1 无失真的数据压缩的标准文本 233
11.1.2 哈夫曼编码的实现 236
11.1.3 LZW数据压缩算法 243
§11.2 有失真的数据压缩 248
11.2.1 数字图像及其失真度量 248
11.2.2 JPEG数据压缩算法的主要步骤 250
第十二章 其他编码问题 263
§12.1 卷积码与Viterbi译码 263
§12.2 图形码 268
12.2.1 条形码 268
12.2.2 二维条形码 278
参考文献 287