第1部分 3D（立体）视频通信的应用 1
1 远程呈现的历史 3
1.1 绪论 3
1.2 身临其境的艺术：Barker的全景画 5
1.3 全景电影与全息探测 7
1.4 虚拟环境 9
1.5 远程操作和远程机器人技术 11
1.6 远程通信 12
1.7 结论 13
参考文献 14
2 三维电视广播 16
2.1 绪论 16
2.2 三维电视研究的历史 16
2.3 一种现代的三维电视技术 19
2.3.1 与立体视频链的比较 19
2.4 立体视图合成 21
2.4.1 三维图像变形 21
2.4.2 “虚拟”的立体相机 22
2.4.3 不遮挡问题 24
2.5 三维成像的编码 25
2.5.1 人的因素实验 26
2.6 结论 27
致谢 27
参考文献 27
3 内容创作和后期制作中的三维图形 29
3.1 绪论 29
3.2 当前的真实和虚拟场景内容合成技术 30
3.3 动态场景中三维模型的产生 33
3.4 真实和虚拟场景间双向接口的实现 35
3.4.1 头部跟踪 37
3.4.2 依赖视觉的展示 38
3.4.3 掩模生成 38
3.4.4 纹理 39
3.4.5 冲突检测 39
3.5 结论 40
参考文献 40
4 自由视点系统 42
4.1 自由视点系统概述 42
4.2 图像域系统 44
4.2.1 眼视光学 44
4.2.2 三维电视 45
4.2.3 自由视点播放 45
4.3 光线—空间系统 45
4.3.1 FTV（自由视点电视） 45
4.3.2 鸟瞰系统 46
4.3.3 光场摄像机系统 48
4.4 表面光场系统 49
4.5 基于模型系统 50
4.5.1 3D Room 50
4.5.2 三维视频 51
4.5.3 多纹理 53
4.6 全景摄影系统 54
4.6.1 NHK系统 54
4.6.2 1D-Ⅱ三维显示系统 55
4.7 结论 56
参考文献 56
5 沉浸感视频会议 59
5.1 绪论 59
5.2 视频会议远程呈现技术 60
5.3 基于共享圆桌概念的多方交流 62
5.4 沉浸感视频会议实验系统 65
5.5 研究前景和趋势 68
参考文献 69
第2部分 三维数据的表达及处理 73
6 多视角几何基础 73
6.1 绪论 73
6.2 针孔相机几何 73
6.3 对极几何 75
6.3.1 介绍 75
6.3.2 对极几何 76
6.3.3 校正 79
6.3.4 三维重构 81
6.4 N视图几何 82
6.4.1 三视图几何 83
6.4.2 三焦距张量 84
6.4.3 多视图约束 85
6.4.4 来自N视图的未校准重构 86
6.4.5 自动校准 87
6.5 结论 87
参考文献 88
7 立体分析 90
7.1 双目立体分析 90
7.1.1 标准基于区域立体分析 91
7.1.2 快速实时算法 94
7.1.3 后处理 96
7.2 三个或更多摄像机的视差 98
7.2.1 比较双摄像机和三摄像机视差 99
7.2.2 三视图匹配搜索 100
7.2.3 后处理 101
7.3 结论 102
参考文献 102
8 三维模型体的重建 105
8.1 绪论 105
8.2 利用轮廓提取形状（shape-from-silhouette） 106
8.2.1 立体模型渲染 107
8.2.2 体素的八叉树表示法 109
8.2.3 利用轮廓进行相机校准 110
8.3 空间切割 111
8.4 对极图像分析 113
8.4.1 水平照相机运动 114
8.4.2 图像立方体轨迹分析 115
8.5 结论 118
参考文献 118
9 视图合成及渲染的方法 120
9.1 全光函数 120
9.1.1 对全光函数的采样 121
9.1.2 全光采样的记录 122
9.2 基于图像的视图合成方法的分类 122
9.2.1 视图渲染中的视差效应 123
9.2.2 IBR系统分类 124
9.3 不使用几何信息的渲染 126
9.3.1 Aspen Movie-Map系统 126
9.3.2 Quicktime VR 126
9.3.3 中心透视全景 127
9.3.4 流形拼接 128
9.3.5 同心拼接 129
9.3.6 交叉狭缝全景 130
9.3.7 光场渲染 130
9.3.8 流明图 131
9.3.9 光线空间 131
9.3.10 相关技术 132
9.4 采用几何信息补偿的渲染 132
9.4.1 基于视差的插值 133
9.4.2 图像转移方法 134
9.4.3 基于深度的外推 134
9.4.4 分层深度图 135
9.5 依据近似几何信息的渲染 136
9.5.1 平面场景近似 136
9.5.2 视图相关几何与纹理 137
9.6 动态IBR的近期趋势 138
参考文献 139
10 三维音频采集和分析 142
10.1 绪论 142
10.2 音频回波控制 143
10.2.1 单声道回波控制 143
10.2.2 多声道回波控制 145
10.3 传感器放置 147
10.4 声源定位 148
10.4.1 概述 148
10.4.2 实时系统和一些结果 149
10.5 语音增强 150
10.5.1 多声道语音增强 151
10.5.2 单声道噪声去除 152
10.6 结论 155
参考文献 155
11 编码及标准化 157
11.1 绪论 157
11.2 图像和视频编码的基本策略 157
11.2.1 图像预测编码 158
11.2.2 图像和视频的变换域编码 159
11.2.3 视频的预测编码 161
11.2.4 视频序列的混合MC/DCT编码 162
11.2.5 基于上下文的视频编码 163
11.3 编码标准 163
11.3.1 JPEG和JPEG 2000 163
11.3.2 视频编码标准 164
11.4 MPEG-4概述 165
11.4.1 MPEG-4系统 166
11.4.2 BIFS 166
11.4.3 自然视频 167
11.4.4 自然音频 167
11.4.5 SNHC 168
11.4.6 AFX 169
11.5 MPEG 3DAV部分 170
11.5.1 全方位视频 170
11.5.2 自由视点视频 172
11.6 结论 172
参考文献 173
第3部分 三维再现 177
12 三维显示中人的因素 177
12.1 绪论 177
12.2 人类的距离感 178
12.2.1 双眼视差 178
12.2.2 会聚和聚焦 180
12.2.3 非对称双眼视觉的合成 180
12.2.4 个体差异 181
12.3 立体图像产生和显示原理 182
12.4 观看立体图像时导致不适的原因 183
12.4.1 梯形失真和深度平面弯曲 183
12.4.2 放大和缩小效应 184
12.4.3 切形变 185
12.4.4 串扰 185
12.4.5 尖桩篱栅效应和图像晃动 186
12.5 理解立体图像质量评定 186
参考文献 187
13 三维显示设备 189
13.1 绪论 189
13.2 立体视觉 190
13.3 三维显示设备的分类 190
13.4 辅助观看三维显示技术 191
13.4.1 色彩复用（补色立体图）显示器 191
13.4.2 偏振复用显示器 192
13.4.3 时间复用显示器 192
13.4.4 方位复用显示器 193
13.5 自由立体显示技术 194
13.5.1 电子全息技术 194
13.5.2 体立体显示器 195
13.5.3 方向复用显示器 196
13.6 结论 207
参考文献 207
14 混合实境（MR）显示 210
14.1 引言 210
14.2 MR技术上的挑战 212
14.3 人类视觉空间和MR显示 213
14.4 自然和合成世界的视觉综合 214
14.4.1 自由曲面表面棱镜HMD 214
14.4.2 波导全息HMD 214
14.4.3 虚拟视网膜显示器 215
14.4.4 可变定位式HMD 215
14.4.5 阻挡处理式HMD 216
14.4.6 影像透视式HMD 217
14.4.7 头戴式投影显示器 217
14.4.8 自由观看MR显示器 218
14.5 桌面和手持式MR系统示例 220
14.5.1 带有多模式交互作用的混合二维／三维桌面MR系统 220
14.5.2 基于视频跟踪的无标记移动MR显示器 221
14.6 结论 224
参考文献 225
15 空间音频和三维音频渲染 227
15.1 绪论 227
15.2 空域声音感知的基础 227
15.2.1 方向感知 227
15.2.2 距离感知 229
15.2.3 鸡尾酒会效应 229
15.2.4 评述 229
15.3 空域声音再现 229
15.3.1 离散多通道扬声器再现 229
15.3.2 双耳再现 232
15.3.3 多对象音频重现 232
15.4 视听一致性 235
15.5 应用 236
15.6 结论和展望 237
参考文献 237
第4部分 三维数据传感器 241
16 基于传感器的深度检测 241
16.1 绪论 241
16.2 基于三角测量的传感器 242
16.3 基于飞行时间的传感器 244
16.3.1 脉冲波 245
16.3.2 基于连续波的传感器 246
16.3.3 总结 247
16.4 焦平面阵列 248
16.5 其他方法 249
16.6 应用实例 249
16.7 前景展望 250
16.8 结论 251
参考文献 252
17 混合实境的跟踪和用户界面 253
17.1 绪论 253
17.2 跟踪 254
17.2.1 机械跟踪器 254
17.2.2 听觉跟踪器 254
17.2.3 惯性跟踪器 255
17.2.4 磁性跟踪器 256
17.2.5 光学跟踪器 256
17.2.6 基于视觉的跟踪器 257
17.2.7 混合跟踪器 259
17.3 用户界面 259
17.3.1 可触摸用户界面 260
17.3.2 基于姿势的界面 261
17.4 应用 262
17.4.1 移动应用 262
17.4.2 合作应用 263
17.4.3 工业应用 264
17.5 结论 265
参考文献 265
中英文词汇对照表 269