第1章 用户界面发展历史 1
1.1 人机交互 1
1.1.1 人机交互的定义 2
1.1.2 人机交互的发展历史 2
1.1.3 人机交互造就了PC机辉煌时代 4
1.1.4 人机交互的发展趋势 5
1.2 界面隐喻和界面范式 8
1.2.1 界面隐喻 8
1.2.2 界面范式 9
1.3 用户界面 11
1.3.1 用户界面与人机交互系统 12
1.3.2 用户界面的发展 13
1.3.3 自然用户界面 13
1.3.4 笔式用户界面 16
1.4 本书的动机和主题 17
参考文献 19
第2章 笔式用户界面概述 22
2.1 背景 22
2.2 笔式界面隐喻 25
2.3 笔式界面范式 25
2.3.1 PBIG界面范式 25
2.3.2 PGIS界面范式 33
2.4 笔式交互设备 37
2.4.1 笔式交互设备硬件基础 37
2.4.2 手持计算设备和电子白板 39
2.4.3 平板电脑 40
2.4.4 智能笔Anoto 41
2.5 笔式交互的功能 41
2.6 笔式界面的应用 42
2.6.1 创造性工作 43
2.6.2 信息交流和共享 46
2.6.3 思想捕捉 47
2.6.4 基于GUI的笔式交互增强 49
2.7 笔式用户界面展望 49
参考文献 50
第3章 笔式用户界面模型 53
3.1 eGOMS模型 53
3.1.1 人机交互和认知加工过程 54
3.1.2 人机交互的eGOMS模型 55
3.1.3 基于eGOMS模型的笔式用户界面范式评估 57
3.2 基于分布式认知的扩展资源模型 58
3.2.1 人机交互中的分布式认知的研究 58
3.2.2 资源模型 61
3.2.3 扩展资源模型结构 64
3.2.4 扩展资源模型交互策略 67
3.2.5 设计方法与设计准则 69
3.2.6 设计实例 70
3.3 基于混合自动机的交互模型 72
3.3.1 笔式交互的抽象特性分析 73
3.3.2 笔式用户界面和混合系统 74
3.3.3 笔式交互的时序模型 77
3.3.4 描述语言LEAFF 77
3.3.5 描述实例：笔式用户界面中的手势交互 79
3.3.6 讨论 81
3.4 笔式交互原语模型 82
3.5 以用户为中心的交互信息模型 85
3.5.1 研究背景 86
3.5.2 用户信息处理模型 86
3.5.3 OICM模型结构 88
3.5.4 模型表示 94
3.5.5 模型分析 96
参考文献 99
第4章 数字笔迹技术 104
4.1 数字笔迹 104
4.1.1 数字笔迹的定义和存储格式 105
4.1.2 数字笔迹的意义 106
4.1.3 数字笔迹技术的研究和应用 107
4.2 笔迹计算 107
4.2.1 笔迹计算技术 107
4.2.2 笔迹计算技术的分类 107
4.2.3 笔迹计算技术之间的关系 109
4.3 笔迹绘制 110
4.3.1 笔迹绘制综述 110
4.3.2 基于同步B样条的笔锋效果模拟 117
4.3.3 公切线增强模型 118
4.3.4 关键点查找算法 118
4.3.5 同步B样条拟合算法 119
4.3.6 实现和实验评估 121
4.4 笔迹压缩 123
4.4.1 笔迹压缩综述 123
4.4.2 基于整数小波变换的笔迹层次式压缩 124
4.5 笔迹的结构分析与识别 133
4.5.1 笔迹的结构 133
4.5.2 笔迹的结构分析与识别综述 135
4.5.3 笔迹的图元识别 141
4.5.4 文本行结构提取 151
4.5.5 图文分离 166
4.5.6 流程图结构分析 173
4.5.7 列表结构分析 191
4.5.8 表格结构分析 192
4.5.9 数学表达式结构分析 193
4.5.10 化学方程式结构分析 194
参考文献 195
第5章 笔式交互技术 205
5.1 笔手势交互 205
5.1.1 手势概述 205
5.1.2 意义性笔手势分类 206
5.1.3 笔手势识别 217
5.1.4 笔手势设计原则 222
5.2 Tilt Cursor和Tilt Menu 225
5.2.1 Tilt Cursor 225
5.2.2 Tilt Menu 227
5.3 多通道错误纠正 230
5.3.1 错误纠正综述 230
5.3.2 连续手写文字识别的跨通道纠错 232
5.4 笔式用户界面中Icon/Button设计 244
5.4.1 Icon设计概述 244
5.4.2 Icon总体设计原则 245
5.4.3 Icon具体设计指南 245
5.4.4 Button设计概述 249
5.4.5 Button设计原则 249
5.5 基于笔的三维交互 252
5.5.1 概述 252
5.5.2 交互设备的组合 253
5.5.3 交互技术 253
5.5.4 笔式交互与语音输入的3D融合 255
参考文献 256
第6章 笔式用户界面描述语言 263
6.1 模型驱动的开发方法 263
6.1.1 MDA基本架构 263
6.1.2 MDA软件生命周期 265
6.1.3 MDA工具及在用户界面系统开发中的应用 266
6.1.4 笔式交互系统模型 268
6.2 用户界面描述语言 273
6.2.1 用户界面描述语言概述 273
6.2.2 用户界面描述语言的分类 275
6.2.3 典型的基于XML的用户界面描述语言 277
6.2.4 笔式用户界面任务描述语言 283
6.3 移动环境下的用户模型 287
6.3.1 用户模型相关工作研究 287
6.3.2 移动环境下的用户模型 288
6.3.3 UM2模型预测算法 290
6.4 E-UIDL：一种新的用户界面描述语言 292
6.4.1 E-UIDL的设计目标 293
6.4.2 功能组模型 294
6.4.3 E-UIDL的组成模块 295
6.4.4 E-UIDL的形式化描述 300
6.4.5 应用场景及实例 301
参考文献 307
第7章 笔式用户界面开发方法与开发框架 317
7.1 笔式交互系统开发方法分析 317
7.1.1 交互系统开发方法分析 317
7.1.2 面向最终用户的笔式交互系统开发方法 323
7.1.3 基于E-UIDL的用户界面开发方法 338
7.1.4 自适应笔式用户界面开发方法 342
7.2 笔式用户界面开发工具 346
7.2.1 现有开发工具介绍 346
7.2.2 笔式交互系统开发工具体系结构 348
7.2.3 笔式用户界面开发工具箱 350
7.3 笔式用户界面生成框架 352
7.3.1 基于E-UIDL的移动用户界面生成框架 352
7.3.2 自适应笔手势界面框架 358
7.4 笔式交互系统开发工具 363
7.4.1 现有任务建模工具 363
7.4.2 基于笔式交互的任务建模工具 365
7.4.3 笔式交互系统运行状态 367
7.4.4 笔式电子表单开发工具 368
参考文献 388
第8章 草图用户界面 392
8.1 草图用户界面概述 392
8.1.1 草图用户界面的定义 393
8.1.2 草图用户界面的基本特点 393
8.1.3 草图用户界面的发展历程 394
8.2 草图界面国内外研究现状 395
8.2.1 草图用户界面的操作、识别与建模 397
8.2.2 草图用户界面领域应用研究现状 398
8.2.3 草图用户界面领域应用分析 398
8.3 草图输入与草图理解 399
8.3.1 自由勾画的设计方式 399
8.3.2 草图识别与重建 400
8.3.3 草图理解 401
8.4 草图用户界面与信息表征 402
8.4.1 草图信息的认知特性 402
8.4.2 基于草图的信息表征 403
8.4.3 草图信息描述方法 405
8.5 草图用户界面领域关键应用 407
8.5.1 面向产品概念设计领域的草图用户界面 407
8.5.2 面向视频高层语义的草图用户界面 412
8.5.3 草图用户界面在其他领域中的应用 427
参考文献 432
第9章 笔式用户界面的关键应用 439
9.1 自由办公领域关键应用 439
9.1.1 笔式电子教学 439
9.1.2 笔式电子表单 446
9.1.3 笔式供应链电子表单PSOCF 450
9.1.4 SketchPoint 459
9.2 儿童益智领域关键应用 480
9.2.1 儿童娱乐城的设计目标 481
9.2.2 儿童娱乐城的系统结构和功能 482
9.2.3 儿童娱乐城的交互场景和交互技术 484
9.2.4 儿童娱乐城的推广应用和用户反馈 486
9.3 儿童汉字学习领域关键应用 488
9.3.1 用户调研 488
9.3.2 系统的设计和实现 491
9.3.3 系统评估 494
9.4 儿童素质教育领域关键应用 498
9.4.1 用户调研 498
9.4.2 ShadowStory系统的设计和实现 502
9.4.3 系统评估 505
9.5 体育训练领域关键应用 510
9.5.1 系统核心功能描述 510
9.5.2 系统技术特色 513
9.5.3 系统的应用和推广 515
参考文献 515
第10章 笔式用户界面可用性研究 520
10.1 用户界面可用性研究的心理学基础 520
10.1.1 用户界面可用性的定义 520
10.1.2 用户模型和心理模型 521
10.1.3 信息处理模型 521
10.1.4 理论模型评估方法 522
10.2 用户界面可用性设计 526
10.2.1 以用户为中心的设计 527
10.2.2 特定的可用性标准 527
10.2.3 迭代设计 529
10.3 用户界面可用性的评估及其方法 529
10.4 界面评估数据获取方式 531
10.4.1 交互活动的历史记录 531
10.4.2 交互影像记录 532
10.4.3 直接观测记录 532
10.4.4 调查表 532
10.4.5 特征分析表 532
10.5 笔式用户界面与键盘鼠标界面的区别 533
10.5.1 键盘鼠标界面的优势 533
10.5.2 笔式用户界面的优势 533
10.6 笔式用户界面可用性设计 535
10.6.1 用户需求分析 535
10.6.2 主界面的设计 537
10.6.3 界面元素的设计 538
10.7 评估方法选择和实验设计 540
10.7.1 评估的目标 541
10.7.2 评估方法的选择 541
10.7.3 评估任务的设计 542
10.8 可用性测试过程 544
10.8.1 被试人员的选择 544
10.8.2 实验环境 544
10.8.3 实验过程 545
10.9 结果分析 546
10.9.1 易学性 547
10.9.2 系统操作效率 547
10.9.3 出错率 550
10.9.4 用户满意度 550
参考文献 551