引言 多媒体接口的趋势 1
目录 1
0.1 为什么需要多媒体系统？ 2
0.2 多媒体的目标：更好的通讯手段 2
0.2.1 计算机对计算机的通讯 2
0.2.2 人对人的通讯 3
0.2.3 计算机与人之间的通讯 4
0.3.1 多媒体 5
0.3.2 编码（encodings）和表达（representations） 5
0.3 术语 5
0.3.3 方式（mode）和模态（modality） 6
0.3.4 多通道 6
0.4 多媒体的现状 6
第一部分 模型、隐喻和范例 9
第一部分的引言 11
Ⅰ.1 引言 11
Ⅰ.2 单一的和混合的媒体格式之特性 12
Ⅰ.3 应用领域 12
Ⅰ.4 信息和用户的构造 12
1.2.1 语音超级媒体HyperPhone 14
1.2 多媒体的科研项目 14
第一章 随时间变化的多媒体的可用性问题 14
1.1 引言 14
1.2.2 多媒体音乐台（kiosk） 15
1.2.3 教学用超级媒体WITS 16
1.2.4 用户的任务 17
1.3 随时间变化的媒体之特性 17
1.3.1 通讯模型 17
1.3.2 灵活的交互动作和速度调整（pacing） 18
1.3.3 上下文敏感性问题 18
1.4.1 Hyper Phone 19
1.4 多媒体应用环境的体系结构 19
1.4.2 WITS 21
1.4.3 Kiosk 24
1.5 可用性问题 24
1.5.1 颗粒性（granularity） 25
1.5.2 复杂性（complexity） 25
1.5.3 执行链路 26
1.6 对随时间变化的接口的改进 29
1.5.4 领会用户需要 29
1.6.2 创作 30
1.6.1 语音的直接处理 30
1.6.3 为Hyper Phone增加智能（见注7） 31
1.7 有关的工作 35
1.8 小结 36
第二章 活动多媒体文档的模型 38
2.1 引言 38
2.2 文档结构 38
2.3 EtherPhone系统的多媒体能力 39
2.4.1 音频注释和编辑 40
2.4 多媒体注释 40
2.4.2 视频注释和编辑 42
2.4.3 注释模型方面的经验 42
2.5 路径模型 43
2.5.1 原本型文档系统 43
2.5.2 路径模型方面的经验 46
2.6 小结以及今后的工作 47
3.1.2 背景 48
3.1.1 主题 48
3.1 引言：一个正在研制中的多媒体接口 48
第三章 多媒体接口设计中的问题：媒体集成和接口中介＊ 48
3.1.3 术语 49
3.2 媒体集成 49
3.2.1 媒体“居住区（Ghettos）” 49
3.2.2 媒体偏见（Biases） 50
3.2.3 跨媒体的链路 52
3.3.1 超级文本模型方面的问题 53
3.3.2 指南的作用：通过着眼点（point of view）来集成 53
3.3 指南 53
3.3.3 特征化 54
3.3.4 “指南”如何才能支持用户 54
3.3.5 期望的目标 56
第四章 钢琴训练中的人机接口 57
4.1 引言 57
4.2 系统综述 57
4.3 内容和媒体的分离 59
4.4 演示系统 59
4.4.2 演示构造程序的优点 61
4.4.1 其它特性 61
4.5 对话 62
4.6 学生模型和超级媒体 63
4.7 小结 65
第五章 多媒体与链接现实的艺术 67
5.1 引言 67
5.2 程序的目标 67
5.4 和使用者之间的交互作用 68
5.5 屏幕设计 68
5.3 程序的使用者 68
5.6 戏剧的应用 70
5.7 教学设计 71
5.8 小结 72
第六章 用声音表达湍流：科学声频化一例 73
6.1 引言和背景 73
6.2 数据表达与消息的对比 74
6.3 流体中的湍流 74
6.4 在湍流研究中利用声音 75
6.4.1 表达 75
6.4.3 先例和感知能力 77
6.4.2 声音消息 77
6.5.1 描述流体特征的声音 78
6.5 湍流的声音参数 78
6.5.2 描述运动特征的声音 79
6.5.3 描述涡旋特征的声音 80
6.5.4 能量的消散 80
6.6 声音消息 81
6.6.1 声符：对表达的扩展和增强 81
6.6.3 声符和起表达作用的声音：设计指南 82
6.7 先例和可听度：同时使用表达用的声音和声音消息时的模型 82
6.6.2 声符：提供数据表达方式所不能提供的信息 82
6.7.1 结构 83
6.7.2 我们的系统所依据的音乐发展历史 83
第二部分 构成和组合 85
第二部分的引言 87
第七章 使用手的运动轨迹跟踪和语音识别的交互技术 89
7.1 引言 89
7.1.1 进行中的协合工程工作 89
7.1.2 在协合接口中的混合各种模态 91
7.2.2 三维轨迹跟踪 92
7.2 多种模态的混合 92
7.2.1 人与人对话的一些例子 92
7.2.3 增加语音识别 93
7.3 用于计算机辅助设计的输入技巧 94
7.3.1 使用手的三种方法 94
7.3.2 一个实验性的手势加语音的系统 97
7.3.3 三维设计的某些考虑 97
7.4 小结 100
8.1 人机接口中的限制 102
8.2 人机交互作用风格 102
第八章 多模态通讯：文本和手势的集成 102
8.2.1 自然语言交互过程对HCI来说“自然”吗？ 103
8.2.2 直接处理“直接在屏幕上吗？” 103
8.2.3 形式语言 104
8.3 手势：只是自然语言与直接处理的组合还是更进一步？ 104
8.3.1 HCI中为什么要用手势？ 104
8.3.2 自然语言和指点的手势 105
8.4 在组合的HCI系统中的手势 105
8.5 手势接口的应用 106
8.5.4 手势和校正符号 107
8.5.3 手势和手写印刷体字母 107
8.5.1 计算机盲人用户的手势接口 107
8.5.2 手势驱动的中文和日文文本编辑程序 107
8.6 将来的方案：语义学的鼠标器／笔记本 109
第九章 根据不精确的多模态输入进行与应用无关的目标选择 110
9.1 引言 110
9.2 模型 111
9.3 实现 113
9.4 小结 114
10.1.1 背景 115
10.1 引言 115
第十章 语音系统中的多模态交互 115
10.1.2 语音识别系统 116
10.1.3 语音的语言系统所提出的特殊问题 117
10.2 语音语言系统的设计原则 119
10.2.1 用户可塑性 119
10.2.2 交互协议的风格 120
10.2.3 纠错用的多种模态 124
10.2.4 响应时间 127
10.2.5 任务特定的对话结构 129
10.2.6 多模态交互作用 130
10.3 小结 131
第十一章 探索数据分析用的立体声和层面声音的产生（注） 133
11.1 引言 133
11.2 数据的图解（iconographic）显示 133
11.3 用声音表达数据 136
11.4 有关的研究工作 136
11.5 立体声的声音显示 137
11.6 层面声音的产生 138
11.7 摘要 139
第三部分 前提和使之实现的技术 141
第三部分的引言 143
第十二章 可管理的媒体间编码（MIME）的推理适当性 145
12.1 引言 145
12.2 表达、用户计算和媒体 146
12.3 可管理的媒体间编码（MIME） 147
12.3.1 现有系统中的某些MIME 148
12.3.2 怎样才能断定用户已作了连接？ 149
12.4.1 任务 150
12.4 利用MIME的推理适当性 150
12.4.2 系统 151
12.4.3 研究 154
12.4.4 问题和答案 156
12.5 讨论 161
12.6 小结 163
13.1.1 工具箱（Toolkits） 167
13.1.2 分类学（Taxonomies） 167
13.1 引言 167
第十三章 输入设备的设计空间＊ 167
13.1.3 性能研究 168
13.2 分析性的设计框架 168
13.3 生成设计空间 168
13.3.1 基本移动词汇表 169
13.3.2 组合操作符 170
13.3.3 输入设备的设计空间 171
13.4 设计空间中的测试点 172
13.4.1 表达性 172
13.4.2 有效性 173
13.4.4 带宽 174
13.4.3 足迹 174
13.4.5 实例：用鼠标器和头戴式鼠标器显示三维信息环境中的选择 176
13.5 结束语 177
第十四章 多媒体接口的理解和合成功能的综合 179
14.1 概述 179
14.2 理解和合成的映射模型 180
14.3 使用理解和合成功能的多媒体应用系统 182
14.3.1 自动演示系统 182
14.3.2 使用与说话者无关的语音识别的电话银行系统 185
14.4 讨论 193
第十五章 三维虚拟声显示 195
15.1 引言 195
15.2 为什么要用虚拟声显示 195
15.3 三维虚拟声显示的经历 198
15.3.1 心理声学的经历 198
15.3.2 实现的方法 200
15.4 NASA AMES的三维听觉显示项目 204
15.4.1 实时系统：Convolvotron 205
15.5 合成技术的心理物理学验证 207
15.5.1 验证使用个性化HRTF的静止声源 208
15.5.2 定位性能的声学要素 210
15.5.3 无经验的收听者和非个性化的HRTF 213
15.6 改进虚拟声显示：问题范围和研究课题 216
第十六章 触觉和视觉：力显示中的一些问题＊ 219
16.1 “砂纸”系统 219
16.1.1 为什么要产生纹理 220
16.1.2 对粗糙度感知过程的实验研究 221
16.1.3 纹理模拟起作用的证据 222
16.1.4 如何建立模拟的纹理 222
16.1.5 力显示要求实时的物理过程和动画能力 223
16.1.6 可感觉材料的小片是一些物体 224
16.1.7 环境应呈现出多大程度的物理过程真实性 224
16.1.8 结论：进入较高一级的描述 225
16.1.9 前景 225
16.2 力显示的控制问题 226
16.2.1 哪些方面会损坏感觉上的幻觉？ 226
16.2.2 阻抗控制理论 226
16.2.3 产生感觉幻觉的方法 227
16.2.4 连接不稳定性和人的手臂 227
16.2.5 分析 229
16.2.6 有关人手臂行为的两个难题 232
16.2.7 结语 232
第四部分 体系结构 235
第四部分的引言 237
第十七章 多模态和多媒体接口的体系结构品质和原则 239
17.1 期望的结构品质 239
17.2 当前与将来的体系结构标准 240
17.3.1 统一访问的原则 241
17.3 体系结构原则 241
17.3.2 近于同构表达的折衷 243
17.4 小结 244
第十八章 人机交互作用和感知过程 245
18.1 交互作用和感知过程 245
18.2 自适应的直接处理 246
18.2.1 推动力 246
18.2.2 ADM系统的设计及其功能 247
18.2.3 ADM的黑板系统 248
18.2.4 黑板知识源 249
18.3.1 推动力及概述 251
18.3 听觉适应 251
18.3.2 听觉的音乐模型 252
18.3.3 声信号在ULS的分配 253
18.3.4 用户性能标准 254
18.4 自适应超级文本系统 255
18.4.1 超级助手 256
18.5 结束语 257
第十九章 未来用户接口成分的“操作系统” 259
19.1 概述 259
19.2 嵌入功能的发展 261
19.3 父控制 262
19.4 共享可视显示 262
19.5 调度输入事件 264
19.6 共享用户接口小工具 265
19.7 传递属性 266
19.8 重使用成分 266
19.9 规定成分间的连接 268
19.10 保存和恢复成分 268
19.11 增加新的成分类型 269
19.13 结束语 270
19.12 集成新的输入设备 270
第二十章 高度图符化的接口 271
20.1 引言 271
20.2 MIT的视觉计算研究组 271
20.2.1 Athena Muse 271
20.2.2 Muse的操作环境 272
20.3 表达 272
20.3.1 控制接口 273
20.3.4 复合型表达 274
20.3.3 中间表达 274
20.3.2 时间记号 274
20.3.5 实现 276
20.4 访问 279
20.5 同步 280
20.6 小结 280
第二十一章 人机对话的组合模型 283
21.1 引言 283
21.2 组合视图 284
21.2.1 用户接口及其特性 285
21.2.2 用户接口组成成分的组合视图 287
21.3 组合模型 288
21.3.1 模型化原语 289
21.3.2 组合规则 291
21.3.3 变换 292
21.3.4 其它规则 292
21.4 组合模型和多媒体-多模态接口设计 293
21.4.1 内容特性 294
21.4.2 通道特性 295
21.4.4 颗粒性特性 296
21.4.3 时态特性 296
21.4.5 定序特性 297
21.4.6 协调特性 297
21.4.7 其它特性 298
21.4.8 作为多媒体多模态接口框架的组合模型 298
21.5 实用的组合模型 298
21.5.1 生成和修改 299
21.5.2 集成和自然语言接口 301
21.6 小结 304
参考文献 306