第一部分 准备篇 2
引言 从科幻电影谈起 2
第1章 自然人机交互技术漫谈 10
1.1自然人机交互技术的发展 10
1.1.1第六感设备：技术的组合创新 10
1.1.2追影技术：摄像头也疯狂 12
1.1.3虚拟现实：真实的体验场景 13
1.1.4增强现实：真实与虚拟的叠加 14
1.1.5多点触摸：信息就在指尖 15
1.1.6语音识别：从ViaVoice到Siri 16
1.1.7眼球跟踪：从霍金的座椅谈起 17
1.1.8人脸识别：Photo DNA 19
1.1.9体感操作：达·芬奇手术机器人 20
1.1.10脑机界面：霍金座待的升级版 20
1.2“你就是控制器”——Kinect宣言 21
1.2.1 Kinect销售记录及命名来历 21
1.2.2未来照进现实 22
第二部分 原理篇 26
第2章 揭开Kinect的神秘面纱——硬件设备解剖 26
2.1两款Kinect传感器对比 26
2.2 Kinect传感器的硬件组成 28
2.2.1 Kinect的“心脏”——PS 1080 SoC 30
2.2.2 Kinect的“三只眼”——投影机和两个摄像头 32
2.2.3 Kinect的“四只耳朵”——麦克风阵列 34
2.2.4会摇摆的“相控雷达”——传动马达 35
2.2.5姿态控制——三轴加速度计 36
2.2.6 USB接口及电源 37
2.2.7 Kinect风扇控制 38
2.3 Kinect相关技术规格 38
2.3.1 Kinect近景模式 39
2.3.2 Kinect放大镜 40
2.4本章小结 40
第3章Kinect工作原理大揭秘 41
3.1 Kinect for Xbox 360的产品设计 42
3.2基于“管道”的系统架构 43
3.2.1骨骼跟踪 45
3.2.2动作识别 46
3.2.3人脸识别 48
3.2.4语音识别 49
3.3 Kinect眼里的三维世界 50
3.3.1深度数据是Kinect的精髓 51
3.3.2 2D视觉与3D视觉 55
3.4深度图像成像原理 56
3.4.1 ToF光学测距与结构光测量 56
3.4.2 Light Coding技术 57
3.4.3激光散斑原理 58
3.4.4光源标定 59
3.5从深度图像到骨骼图 60
3.5.1动静分离，识别人体 60
3.5.2人体部位分类 62
3.5.3从人体部位识别关节 63
3.5.4会“机器学习”的“Kinect大脑” 65
3.5.5骨骼跟踪的精度和效率 68
3.6创建你的Avatar 70
3.6.1“有骨有肉” 70
3.6.2泊松方程噪声滤除 70
3.6.3粗糙变平滑、缺陷自动补齐 71
3.7本章小结 71
第三部分 基础篇 74
第4章Kinect for Windows SDK导读 74
4.1什么是Kinect SDK 74
4.1.1 Kinect SDK的发展历程 74
4.1.2 SDK v1.5的新特性 75
4.1.3 SDK v1.5尚未提供的API 76
4.1.4从底层进行封装 76
4.2 Kinect for Windows体系架构 78
4.3应用层API详解 80
4.3.1 Kinect的核心NUI API 80
4.3.2 Kinect Audio DMO 82
4.3.3 Windows Speech SDK 83
4.4数据流概述 84
4.4.1彩色图像数据 84
4.4.2用户分割数据 85
4.4.3深度图像数据 86
4.4.4如何获取数据流 87
4.5骨骼跟踪 89
4.5.1骨骼信息检索 90
4.5.2主动跟踪和被动跟踪 90
4.5.3骨骼跟踪对象选择 91
4.6 NUI坐标转换 92
4.6.1深度图像空间坐标 93
4.6.2骨骼空间坐标 93
4.6.3坐标变换 93
4.6.4传感器阵列和倾斜补偿 95
4.6.5地面测量 95
4.6.6骨骼镜像 95
4.7本章小结 96
第5章Kinect用户交互设计的若干思考 97
5.1 Xbox 360 Kinect Hub界面和Metro风格 97
5.1.1什么是Metro风格 97
5.1.2 Kinect Hub手势原型设计 98
5.1.3“悬停选择”和“翻页控制” 99
5.2体感游戏的优势及局限性 100
5.2.1更多的自由度 101
5.2.2关节点重叠的处理办法 102
5.2.3情感因素和心理暗示 102
5.2.4 Kinect体感操作的局限性及对策 103
5.3用户交互的趋势和新特性 104
5.3.1 Kinect使交互“柔软化” 105
5.3.2用户交互设计也可能是一项专利 106
5.4 Kinect“体感操作”交互设计的七条军规 106
5.4.1控制手势集符合人类自然手势 107
5.4.2让用户的肢体移动幅度尽可能小 107
5.4.3操作界面的对象采用Metro风格 109
5.4.4“确认操作”保持简单、一致 109
5.4.5手势操作尽可能在同一个平面内 110
5.4.6从三维的视角去看交互设计 110
5.4.7配有简单明了的手势说明 111
5.5本章小结 112
第四部分 开发篇 114
第6章 开发前的准备工作 114
6.1开发Kinect应用所需的技能 114
6.2系统要求 115
6.3下载和安装Kinect SDK 116
6.3.1 Kinect for Windows SDK v1.5 118
6.3.2 Developer Toolkit 118
6.3.3 Kinect快速开发工具箱 119
6.3.4 XNA开发环境 119
6.4加载驱动、检验及测试 120
6.5配置开发环境 122
6.6要点和故障排除 122
6.7本章小结 123
第7章Hello，Kinect！ 124
7.1一行代码的“Hello，Kinect!” 124
7.1.1创建WPF工程 124
7.1.2添加KinectDiagnosticViewer控件 126
7.1.3编写一行代码 127
7.1.4编译运行 127
7.2控制台界面HelloKinectMatrix 128
7.2.1创建Console工程 128
7.2.2编写代码 129
7.2.3运行效果 130
7.3 KinectContrib快速工程模板 130
7.4 KinectWpfViewers工具控件 131
7.5本章小结 132
第8章Kinect开发循序渐进 133
8.1一个简单的编程模型 133
8.1.1初始化、启用Kinect设备 134
8.1.2彩色图像流事件处理 136
8.1.3深度数据捕获 138
8.1.4骨骼跟踪 141
8.1.5关闭Kinect设备 145
8.1.6 Kinect设备状态管理及异常处理 145
8.2更专业的深度图 146
8.2.1改进转换方法 146
8.2.2事件处理 148
8.3控制Kinect仰角 148
8.3.1“你的塑身”游戏 149
8.3.2垂直调整Kinect仰角 150
8.4本章小结 151
第9章Kinect深度数据测量技术及应用 152
9.1什么是Kinect视角场 152
9.2深度值与实际距离的对比 153
9.3深度图像的直方图 155
9.3.1直方图统计信息的价值 156
9.3.2深度图像直方图的意义 158
9.4 Kinect深度数据测量的应用 159
9.4.1近景模式：自动锁屏工具 159
9.4.2 Kinect视角场几何推导：测量人体身高 163
9.4.3近距离探测：制作地形电子沙盘 169
9.5本章小结 170
第五部分 实例篇 172
第10章用Kinect表演“变脸” 172
10.1在人的面部变换脸谱 172
10.2代码实现 173
10.2.1 WPF工程、控件及初始化 173
10.2.2骨骼跟踪 176
10.2.3变脸及坐标变换 178
10.3合理暂停骨骼跟踪 181
10.4道具平滑跟随 181
10.5调整幕布大小 183
10.6练习作业 184
第11章用Kinect唤起“红白机”的回忆 185
11.1用身体控制马里奥 185
11.2代码实现 185
11.2.1 WPF工程、控件及初始化 185
11.2.2模拟键盘输入工具类 188
11.2.3肢体语言映射到键盘事件 192
11.3副产品：PPT演示“空手道” 193
11.4练习作业 195
第12章用Kinect玩PC版的《水果忍者》 197
12.1空气鼠标设计思路 197
12.1.1找到离Kinect最近的那个人 198
12.1.2兼容左手习惯和右手习惯 199
12.1.3从骨骼坐标系到鼠标坐标系 199
12.1.4模拟鼠标工具类 200
12.1.5让“空气鼠标”移动自如 202
12.1.6模拟鼠标左键事件 203
12.2在PC中用Kinect玩《水果忍者》 203
12.2.1核心代码示例 203
12.2.2如何双手挥刀 206
12.3更多游戏：《割绳子》 206
12.4练习作业 207
第13章 创建你的Kinect Hub Demo界面 208
13.1 Metro风格界面设计 208
13.2使用Kinect骨骼跟踪 209
13.3使用Coding4Fun Kinect Toolkit开发加速器 210
13.4悬停选择 210
13.5本章小结 213
第14章用Kinect导播天气预报 214
14.1天气预报是这样炼成的 214
14.1.1绘制幕布，定义前景图片 214
14.1.2对象定义及初始化 215
14.1.3实现“画中画”效果 216
14.2一些优化的话题 219
14.2.1使用Using及时回收资源 219
14.2.2使用WriteableBitmap优化图片显示性能 219
14.2.3多线程和“轮询模型” 220
14.2.4使用中值滤波边缘去噪 220
14.3 Kinect语音导播切换 221
14.3.1引用Microsoft.Speech命名空间 221
14.3.2音频数据流和语音识别引擎 221
14.3.3语音识别事件 223
14.4本章小结 224
第15章 基于Kinect的家庭监控系统 225
15.1通过Kinect进行目标探测 225
15.2使用计算机视觉库 226
15.2.1 Open CV程序库 226
15.2.2 Emgu CV引用 226
15.2.3保存快照 227
15.2.4录制视频 227
15.3目标人体探测和影像录制 228
15.4扩展功能和更多应用场景 231
15.5本章小结 231
第16章“Kinect牌”梦境录音笔 232
16.1 Kinect音频采集 232
16.1.1使用音频数据流 232
16.1.2“波束跟踪”信心值的另类用法 233
16.2音频录制 233
16.2.1 WAV文件 233
16.2.2 WAVEFORMATEX结构体 234
16.2.3梦境录音笔的实现 234
16.3练习作业 240
第六部分 进阶篇 242
第17章 再谈姿态识别和手势识别 242
17.1姿态和手势 242
17.2动作与算法 243
17.2.1如何设定动作集合 243
17.2.2借鉴正则表达式和状态机 244
17.2.3转换为几何三角问题 245
17.3常见手势识别 245
17.3.1挥手激活 245
17.3.2悬停按钮 246
17.3.3磁石悬停 247
17.3.4划动手势 247
17.3.5滑动解锁 248
17.3.6推按钮 249
17.3.7通用暂停 249
17.4工具介绍 250
17.4.1动作录制和识别GesturePak 250
17.4.2手和手指的“空气多点触摸” 251
17.5本章小结 253
第18章Kinect在手术室的应用原型 254
18.1原型设计 254
18.2交互设计 255
18.2.1“悬停选择”进行功能导航 255
18.2.2“空气鼠标”的激活和隐藏 256
18.2.3通过“划动”手势翻阅医学影像 257
18.2.4放大、缩小医学影像病灶部位 257
18.2.5“垂直摆动”翻阅病历 258
18.2.6体感操作结合语音控制 258
18.3体感操作的实现 259
18.3.1基于SwipeGestureRecognizer 259
18.3.2基于单个部位运动序列的轨迹分析匹配 262
18.3.3基于多个部位姿态快照的状态机匹配 266
18.4利用SDK v1.5的新特性 280
18.4.1近景模式下的上半身骨骼跟踪 280
18.4.2利用关节点朝向信息进行手势识别和三维操作 280
18.4.3人脸识别用于手术登录验证 283
18.4.4调试工具Kinect Studio 283
18.5本章小结 284
第19章Hello，Kinect 3D World! 285
19.1点、面、云 285
19.1.1像素和彩色图像帧 285
19.1.2深度图像帧和点云 285
19.1.3多Kinect设备的接入 286
19.2 Kinect体感应用开发工具简介 287
19.2.1软件开发平台XNA 287
19.2.2游戏引擎Unity 3D 288
19.2.3 3D场景重建工具ReconstructMe 289
19.3本章小结 289
第七部分 展望篇 292
第20章 奇思妙想——Kinect效应 292
20.1四旋翼飞行器的“导航雷达” 292
20.2宠物看护机器人 292
20.3空气吉他 293
20.4倒车雷达系统 294
20.5 Kinect购物车 294
20.6魔术道具 295
20.7本章小结 295
第21章Kinect企业级应用 296
21.1思维导图 296
21.2体感操作应用 297
21.2.1手术室 297
21.2.2体育运动竞技研究 297
21.2.3动作捕捉、CG动画制作 298
21.2.4虚拟试衣镜 298
21.2.5课堂 299
21.2.6虚拟汽车展厅 299
21.2.7管理你的银行账户 300
21.2.8聋哑人的同声翻译 300
21.3深度数据应用 301
21.3.1老年人监护 301
21.3.2康复训练 301
21.3.3家庭监控系统 302
21.3.4道路交通稽查 302
21.3.5冰川消融研究 303
21.3.6给宇航员称体重 304
21.4实物3D建模应用 304
21.4.1实物3D数字化 304
21.4.2文物3D模型“数字敦煌”计划 305
21.4.3 3D扫描和打印 306
21.5机器人视觉与控制 306
21.5.1地震搜救机器人 307
21.5.2深海探测机器人 307
21.5.3工程机械臂控制 307
21.6本章小结 308
第22章 下一代人机交互技术 309
22.1下一代Kinect技术若干猜想 309
22.2未来惊鸿一瞥 310
第八部分 附录 312
附录A Kinect SDK命名空间速查手册 312
附录B推荐阅读及网络资源 328
后记 338
参考资料 339