第一篇 笔＋触控交互技术 1
概要 1
1．绪论 2
1.1 选题背景与研究意义 2
1.2 国内外研究现状及发展动态 3
1.2.1 基于多点触控交互的桌面系统介绍 3
1.2.2 触摸输入的研究 4
1.2.3 基于手势交互的桌面系统 5
1.2.3.1 手势识别技术 5
1.2.3.2 手势输入的形式 6
1.2.4 笔压输入的研究 7
1.2.5 双手交互技术及理论 7
1.2.5.1 双手操作机制研究 8
1.2.5.2 笔＋触控交互研究 10
1.3 小结 11
2．人机交互基础理论介绍 12
2.1 人机交互模型简述 12
2.2 人机交互界面设计评价模型 13
2.2.1 Fitts Law模型 13
2.2.2 Steering Law模型 14
2.3 笔＋触控交互技术介绍 16
2.3.1 触控交互技术 16
2.3.2 笔交互技术 18
2.3.3 笔交互与触控交互关键特征对比 19
2.4 小结 19
3．基于笔压控制的双手通道穿越实验的设计 20
3.1 实验程序开发技术概述 20
3.3.1 Xcode开发工具 20
3.3.2 Objective-C概述 21
3.3.3 iOS平台概述 22
3.3.4 Jot Touch SDK介绍 23
3.2 实验设备及开发环境 23
3.2.1 实验软硬件 23
3.2.2 Jot Touch 4.0连接与使用 24
3.3 主要实验内容及正式实验设计 25
3.4 实验程序及执行步骤 26
3.4.1 程序输入事件处理 26
3.4.2 实验执行的主要过程 27
3.5 小结 28
4．实验结果分析与讨论 28
4.1 实验一：确定通道穿越实验通道宽度的范围 28
4.1.1 实验目的 28
4.1.2 实验内容 29
4.1.3 实验参与者及任务安排 31
4.1.4 实验结果 32
4.2 实验二：自然书写与自然握笔时的笔压分析实验 37
4.2.1 实验目的 37
4.2.2 实验内容 37
4.2.3 实验参与者及任务安排 39
4.2.4 实验结果 40
4.3 实验三：基于笔压控制的双手通道穿越实验 41
4.3.1 实验目的 41
4.3.2 实验内容 42
4.3.3 实验参与者及任务安排 44
4.3.4 实验结果 44
4.4 小结 49
5．笔＋触控界面中基于压力的交互技术的设计与实现 49
5.1 笔＋触控交互技术探究 49
5.2 基于压力的交互技术设计与实现 52
5.2.1 基于压力操作的双手拓展手势技术 52
5.2.2 基于压力双手操作的离散目标选择改进方法 53
5.2.3 基于压力的双手多级菜单操作 54
5.3 基于笔压的双手交互技术在图像编辑程序中的应用 55
5.4 界面外基于压力操作的双手交互技术设想 58
5.5 小结 58
6．总结与展望 59
6.1 本篇工作总结 59
6.2 未来工作及展望 59
参考文献 60
第二篇 基于多点触控界面的笔＋触控交互手势设计与研究 66
概要 66
1．绪论 67
1.1 选题背景及研究意义 67
1.1.1 选题背景 67
1.1.2 选题意义 70
1.2 国内外研究现状及发展动态分析 72
1.3 研究内容、目标 73
2．人机交互基础理论 74
2.1 人机交互介绍 74
2.1.1 人机交互概念 74
2.1.2 人机交互与人机界面 74
2.1.3 人机交互与其他学科的关系 74
2.1.4 人机交互技术发展 75
2.2 自然人机交互主要技术手段 77
2.2.1 笔式交互技术 77
2.2.2 多点触控交互技术 77
2.2.3 语音交互技术 78
2.2.4 视觉交互技术 78
2.2.5 多通道交互技术及其他交互技术 78
3．多点触控及常用触控手势的实现 79
3.1 实验平台和开发环境 79
3.2 多点触控web开发 79
3.2.1 触摸事件 80
3.2.1.1 触摸事件介绍 80
3.2.1.2 web中触摸事件的监听 81
3.2.1.3 创建和监听自定义事件 84
3.2.1.4 开发建议 85
3.2.1.5 设备支持 86
3.2.2 手势事件 87
3.3 常用触控手势 87
4．笔画识别算法 92
4.1 人机交互中的笔画识别 92
4.2 ？1手势识别算法 94
4.2.1 ？1手势识别算法面对的挑战 94
4.2.2 ？1手势识别算法的原理 95
4.2.2.1 原始手势数据处理过程 95
4.2.2.2 旋转不变性分析 101
4.2.2.3 ？1识别器的局限性 103
5．基于多点触控界面的笔＋触控交互手势设计与实现 104
5.1 笔＋触控交互介绍 104
5.2 实验平台和开发环境 105
5.3 手势设计与实现 105
5.3.1 设计原理 105
5.3.2 6种混合手势组合 106
5.4 笔＋触控手势在图片管理系统中的应用 111
6．实验设计与分析 115
6.1 实验内容 115
6.2 实验结果分析 115
7．总结与展望 116
7.1 本篇总结及未来发展展望 116
参考文献 117
第三篇 基于多点触控的桌面文档操作交互的设计与研究 122
概要 122
1．绪论 123
1.1 研究背景 123
1.2 研究现状与发展 125
1.3 相关研究 126
1.4 本篇的主要内容 127
1.5 本篇的研究意义 127
2．开发环境 128
2.1 硬件设备 128
2.2 软件工具 128
2.2.1 Unity简介 129
2.2.2 JDK简介 130
2.2.3 Android SDK简介 130
2.3 调试和导出 131
2.4 小结 132
3．技术分析与框架介绍 132
3.1 触摸 133
3.1.1 单点触摸 133
3.1.2 多点触摸 135
3.2 交互手势 136
3.2.1 单点触摸手势 136
3.2.2 多点触摸手势 137
3.2.3 单点触摸与多点触摸的比较 138
3.3 交互手势与交互任务 139
3.4 Unity触摸 140
3.4.1 两大坐标系之间关系 140
3.4.2 触摸核心Touch 142
3.5 项目框架 142
3.5.1 主要手势及任务 142
3.5.2 图标设计 143
3.5.3 单点触摸操作 144
3.5.4 两点触摸操作 146
3.5.5 三点操作 156
3.5.6 手势操作的组合 157
3.5.7 圆盘菜单 158
3.6 小结 159
4．项目实现和代码编写 159
4.1 MonoDevelop脚本编辑器 160
4.2 Unity脚本的生命周期 160
4.3 图标的实现 160
4.3.1 图标的制作 161
4.3.2 图标脚本Icon.cs 161
4.4 触摸手指信息InputControfler.cs 163
4.5 单点触摸操作的实现 165
4.6 两点触摸操作 166
4.6.1 缩放旋转操作 166
4.6.2 单个图标操作的实现SingIeOperation（） 171
4.6.3 多个离散图标操作的实现DiscreteOperation（） 172
4.6.4 同一类型图标操作SameTypeOperation（） 173
4.6.5 连续图标选择操作ContiguousSelection（） 174
4.6.6 桌面菜单操作 175
4.6.7 移动图标到文件夹操作MoveToFoIder（） 177
4.7 小结 178
5．实验测试与分析 179
5.1 实验测试 179
5.2 实验分析 179
6．总结与展望 180
6.1 总结 180
6.2 展望 180
参考文献 181