第一部分 多媒体数据挖掘概述 3
第一章 从数据到语义的理解与挖掘 3
1.1相关背景 3
1.2信息检索的基本概念 4
1.3纯文本信息的检索 5
1.3.1技术背景 5
1.3.2经典模型 6
1.4基于关键字的多媒体检索 8
1.5本章小结 11
第二章 图像数据挖掘概述——以CBIR为例 12
2.1基本概念 12
2.2主要技术流程和经典算法 14
2.2.1特征建模 15
2.2.2特征降维与索引 16
2.2.3语义相似度度量 17
2.2.4基于相关反馈的结果优化 20
2.3CBIR的相关应用 22
2.3.1国外CBIR开发简介 22
2.3.2数字图书馆中基于内容的多媒体检索 23
2.4本章小结 27
第二部分 多媒体数据的底层特征分析技术 31
第三章 图像的视觉特征分析方法 31
3.1基本概念 31
3.1.1数字图像的组成和存储 31
3.1.2图像的特征类型和表达方式 32
3.2经典的视觉特征及其计算方法 33
3.2.1颜色特征 34
3.2.2纹理特征 39
3.2.3形状特征 42
3.3特征降维的关键技术 44
3.3.1线性降维方法 44
3.3.2非线性降维方法 50
3.4基于深度学习的图像特征表示 51
3.5本章小结 51
第四章 视频多模态底层特征的综合理解 53
4.1视频时序性特征的结构化 53
4.2视频关键帧的计算方法 56
4.3视频镜头的自动分割 58
4.4视频特征的融合分析和深度挖掘 61
4.5视频数据挖掘的相关应用 62
4.6本章小结 64
第五章 音频时序性特征的结构化方法 65
5.1基本概念 65
5.2听觉特征的形式化表达和计算 66
5.2.1时域特征 67
5.2.2频域特征 68
5.2.3压缩域特征 69
5.2.4特征计算的基本单位 70
5.3音频数据挖掘的相关应用 72
5.3.1基于内容的音频检索 72
5.3.2音乐信号分析 73
5.3.3音频流的自动分割 74
5.4本章小结 76
第六章 多模态特征的综合分析 77
6.1底层异构特征间的内容鸿沟 78
6.2异构特征间的统计相关性挖掘 80
6.2.1数学模型 80
6.2.2多模态特征综合分析实例：图像和音频特征间的典型相关性分析 81
6.2.3技术特点 83
6.3实验测试和结果分析 83
6.3.1数据收集和特征提取 84
6.3.2实验环境和参数设置 85
6.3.3扩展实验 85
6.4本章小结 89
第三部分 多模态数据挖掘实例：跨媒体检索 95
第七章 跨媒体检索基础知识 95
7.1跨媒体的基本概念 96
7.1.1人脑对多模态信息的认知特性 96
7.1.2跨媒体数据挖掘的主要范畴 98
7.1.3跨媒体检索的重要意义 99
7.2跨媒体检索的相关研究与应用 100
7.2.1多特征的融合分析与挖掘 100
7.2.2跨媒体潜在关联挖掘 102
7.2.3跨语言检索 103
7.2.4视频中的说话人脸检测 105
7.2.5多媒体交叉索引技术 106
7.3本章小结 106
第八章 跨媒体检索系统的仿真实例 108
8.1基于子空间映射的多模态数据表达 108
8.2跨媒体距离的综合度量 110
8.3基于相关反馈的跨媒体检索结果优化 111
8.3.1算法描述 112
8.3.2算法分析 114
8.4新数据的引入 115
8.5实验测试和结果分析 116
8.5.1子空间维数的选取 117
8.5.2跨媒体检索结果 118
8.5.3相关反馈的实验结果 119
8.5.4扩展实验 120
8.6本章小结 123
第九章 基于隐性语义索引的跨媒体检索 124
9.1跨媒体的特征共生矩阵 124
9.1.1隐性语义索引 125
9.1.2视觉和听觉特征的共生估计 126
9.2相关性融合与优化算法 127
9.2.1形式化描述 127
9.2.2算法分析 128
9.3主动学习策略 129
9.3.1主动学习的概念 130
9.3.2候选集计算 131
9.3.3条件概率计算 132
9.3.4主动学习规则 132
9.4实验测试和结果分析 133
9.4.1矩阵秩的选取 134
9.4.2主动学习策略对检索性能的影响 135
9.4.3LSI-Active和CCA-Passive两种线性方法的性能对比 137
9.5本章小结 138
第十章 Web环境中的跨媒体数据挖掘 140
10.1基于Web的信息检索 140
10.2跨媒体关联图的建模过程 142
10.2.1预处理过程 143
10.2.2链接分析 143
10.2.3图模型的定义 144
10.3基于图模型的全局相关性推理 145
10.4跨媒体关联图的更新策略 147
10.5本章小结 148
第四部分 复杂数据环境下的多媒体语义挖掘 153
第十一章 复杂数据关系的非线性分析 153
11.1相关概念 153
11.1.1复杂数据关系 153
11.1.2非线性模型 154
11.2流形学习模型 155
11.2.1流形与流形学习 155
11.2.2经典的流形学习方法 157
11.3复杂数据关系的非线性流形建模 161
11.3.1多特征观测空间 162
11.3.2流形学习之：构造邻接图 163
11.3.3流形学习之：计算测地线距离和子空间坐标 165
11.4短期修正和长期修正策略 166
11.5增量学习能力探讨 168
11.5.1几何方法 168
11.5.2交互方法 169
11.6应用实例分析 170
11.6.1多模态检索 171
11.6.2图像和音频之间的跨媒体检索 172
11.6.3新数据的引入 173
11.7本章小结 175
第十二章 海量多媒体资源的网格化存储 177
12.1海量多媒体资源的存储问题 178
12.2网格相关知识 179
12.2.1定义和特征 179
12.2.2体系结构 180
12.2.3网格的类型 180
12.2.4网格资源管理 181
12.2.5相关应用项目 182
12.3仿真环境下的网格设计：以数字图书馆应用为例 183
12.3.1系统构架 183
12.3.2虚拟多媒体资源空间 186
12.3.3检索算法设计 187
12.3.4网格服务的发布和使用 189
12.4本章小结 192
附录 193
参考文献 229
后记 240