3D视频通信PDF电子书下载

第1部分 3D（立体）视频通信的应用 1

1 远程呈现的历史 3

1.1 绪论 3

1.2 身临其境的艺术：Barker的全景画 5

1.3 全景电影与全息探测 7

1.4 虚拟环境 9

1.5 远程操作和远程机器人技术 11

1.6 远程通信 12

1.7 结论 13

参考文献 14

2 三维电视广播 16

2.1 绪论 16

2.2 三维电视研究的历史 16

2.3 一种现代的三维电视技术 19

2.3.1 与立体视频链的比较 19

2.4 立体视图合成 21

2.4.1 三维图像变形 21

2.4.2 “虚拟”的立体相机 22

2.4.3 不遮挡问题 24

2.5 三维成像的编码 25

2.5.1 人的因素实验 26

2.6 结论 27

致谢 27

参考文献 27

3 内容创作和后期制作中的三维图形 29

3.1 绪论 29

3.2 当前的真实和虚拟场景内容合成技术 30

3.3 动态场景中三维模型的产生 33

3.4 真实和虚拟场景间双向接口的实现 35

3.4.1 头部跟踪 37

3.4.2 依赖视觉的展示 38

3.4.3 掩模生成 38

3.4.4 纹理 39

3.4.5 冲突检测 39

3.5 结论 40

参考文献 40

4 自由视点系统 42

4.1 自由视点系统概述 42

4.2 图像域系统 44

4.2.1 眼视光学 44

4.2.2 三维电视 45

4.2.3 自由视点播放 45

4.3 光线—空间系统 45

4.3.1 FTV（自由视点电视） 45

4.3.2 鸟瞰系统 46

4.3.3 光场摄像机系统 48

4.4 表面光场系统 49

4.5 基于模型系统 50

4.5.1 3D Room 50

4.5.2 三维视频 51

4.5.3 多纹理 53

4.6 全景摄影系统 54

4.6.1 NHK系统 54

4.6.2 1D-Ⅱ三维显示系统 55

4.7 结论 56

参考文献 56

5 沉浸感视频会议 59

5.1 绪论 59

5.2 视频会议远程呈现技术 60

5.3 基于共享圆桌概念的多方交流 62

5.4 沉浸感视频会议实验系统 65

5.5 研究前景和趋势 68

参考文献 69

第2部分 三维数据的表达及处理 73

6 多视角几何基础 73

6.1 绪论 73

6.2 针孔相机几何 73

6.3 对极几何 75

6.3.1 介绍 75

6.3.2 对极几何 76

6.3.3 校正 79

6.3.4 三维重构 81

6.4 N视图几何 82

6.4.1 三视图几何 83

6.4.2 三焦距张量 84

6.4.3 多视图约束 85

6.4.4 来自N视图的未校准重构 86

6.4.5 自动校准 87

6.5 结论 87

参考文献 88

7 立体分析 90

7.1 双目立体分析 90

7.1.1 标准基于区域立体分析 91

7.1.2 快速实时算法 94

7.1.3 后处理 96

7.2 三个或更多摄像机的视差 98

7.2.1 比较双摄像机和三摄像机视差 99

7.2.2 三视图匹配搜索 100

7.2.3 后处理 101

7.3 结论 102

参考文献 102

8 三维模型体的重建 105

8.1 绪论 105

8.2 利用轮廓提取形状（shape-from-silhouette） 106

8.2.1 立体模型渲染 107

8.2.2 体素的八叉树表示法 109

8.2.3 利用轮廓进行相机校准 110

8.3 空间切割 111

8.4 对极图像分析 113

8.4.1 水平照相机运动 114

8.4.2 图像立方体轨迹分析 115

8.5 结论 118

参考文献 118

9 视图合成及渲染的方法 120

9.1 全光函数 120

9.1.1 对全光函数的采样 121

9.1.2 全光采样的记录 122

9.2 基于图像的视图合成方法的分类 122

9.2.1 视图渲染中的视差效应 123

9.2.2 IBR系统分类 124

9.3 不使用几何信息的渲染 126

9.3.1 Aspen Movie-Map系统 126

9.3.2 Quicktime VR 126

9.3.3 中心透视全景 127

9.3.4 流形拼接 128

9.3.5 同心拼接 129

9.3.6 交叉狭缝全景 130

9.3.7 光场渲染 130

9.3.8 流明图 131

9.3.9 光线空间 131

9.3.10 相关技术 132

9.4 采用几何信息补偿的渲染 132

9.4.1 基于视差的插值 133

9.4.2 图像转移方法 134

9.4.3 基于深度的外推 134

9.4.4 分层深度图 135

9.5 依据近似几何信息的渲染 136

9.5.1 平面场景近似 136

9.5.2 视图相关几何与纹理 137

9.6 动态IBR的近期趋势 138

参考文献 139

10 三维音频采集和分析 142

10.1 绪论 142

10.2 音频回波控制 143

10.2.1 单声道回波控制 143

10.2.2 多声道回波控制 145

10.3 传感器放置 147

10.4 声源定位 148

10.4.1 概述 148

10.4.2 实时系统和一些结果 149

10.5 语音增强 150

10.5.1 多声道语音增强 151

10.5.2 单声道噪声去除 152

10.6 结论 155

参考文献 155

11 编码及标准化 157

11.1 绪论 157

11.2 图像和视频编码的基本策略 157

11.2.1 图像预测编码 158

11.2.2 图像和视频的变换域编码 159

11.2.3 视频的预测编码 161

11.2.4 视频序列的混合MC/DCT编码 162

11.2.5 基于上下文的视频编码 163

11.3 编码标准 163

11.3.1 JPEG和JPEG 2000 163

11.3.2 视频编码标准 164

11.4 MPEG-4概述 165

11.4.1 MPEG-4系统 166

11.4.2 BIFS 166

11.4.3 自然视频 167

11.4.4 自然音频 167

11.4.5 SNHC 168

11.4.6 AFX 169

11.5 MPEG 3DAV部分 170

11.5.1 全方位视频 170

11.5.2 自由视点视频 172

11.6 结论 172

参考文献 173

第3部分 三维再现 177

12 三维显示中人的因素 177

12.1 绪论 177

12.2 人类的距离感 178

12.2.1 双眼视差 178

12.2.2 会聚和聚焦 180

12.2.3 非对称双眼视觉的合成 180

12.2.4 个体差异 181

12.3 立体图像产生和显示原理 182

12.4 观看立体图像时导致不适的原因 183

12.4.1 梯形失真和深度平面弯曲 183

12.4.2 放大和缩小效应 184

12.4.3 切形变 185

12.4.4 串扰 185

12.4.5 尖桩篱栅效应和图像晃动 186

12.5 理解立体图像质量评定 186

参考文献 187

13 三维显示设备 189

13.1 绪论 189

13.2 立体视觉 190

13.3 三维显示设备的分类 190

13.4 辅助观看三维显示技术 191

13.4.1 色彩复用（补色立体图）显示器 191

13.4.2 偏振复用显示器 192

13.4.3 时间复用显示器 192

13.4.4 方位复用显示器 193

13.5 自由立体显示技术 194

13.5.1 电子全息技术 194

13.5.2 体立体显示器 195

13.5.3 方向复用显示器 196

13.6 结论 207

参考文献 207

14 混合实境（MR）显示 210

14.1 引言 210

14.2 MR技术上的挑战 212

14.3 人类视觉空间和MR显示 213

14.4 自然和合成世界的视觉综合 214

14.4.1 自由曲面表面棱镜HMD 214

14.4.2 波导全息HMD 214

14.4.3 虚拟视网膜显示器 215

14.4.4 可变定位式HMD 215

14.4.5 阻挡处理式HMD 216

14.4.6 影像透视式HMD 217

14.4.7 头戴式投影显示器 217

14.4.8 自由观看MR显示器 218

14.5 桌面和手持式MR系统示例 220

14.5.1 带有多模式交互作用的混合二维／三维桌面MR系统 220

14.5.2 基于视频跟踪的无标记移动MR显示器 221

14.6 结论 224

参考文献 225

15 空间音频和三维音频渲染 227

15.1 绪论 227

15.2 空域声音感知的基础 227

15.2.1 方向感知 227

15.2.2 距离感知 229

15.2.3 鸡尾酒会效应 229

15.2.4 评述 229

15.3 空域声音再现 229

15.3.1 离散多通道扬声器再现 229

15.3.2 双耳再现 232

15.3.3 多对象音频重现 232

15.4 视听一致性 235

15.5 应用 236

15.6 结论和展望 237

参考文献 237

第4部分 三维数据传感器 241

16 基于传感器的深度检测 241

16.1 绪论 241

16.2 基于三角测量的传感器 242

16.3 基于飞行时间的传感器 244

16.3.1 脉冲波 245

16.3.2 基于连续波的传感器 246

16.3.3 总结 247

16.4 焦平面阵列 248

16.5 其他方法 249

16.6 应用实例 249

16.7 前景展望 250

16.8 结论 251

参考文献 252

17 混合实境的跟踪和用户界面 253

17.1 绪论 253

17.2 跟踪 254

17.2.1 机械跟踪器 254

17.2.2 听觉跟踪器 254

17.2.3 惯性跟踪器 255

17.2.4 磁性跟踪器 256

17.2.5 光学跟踪器 256

17.2.6 基于视觉的跟踪器 257

17.2.7 混合跟踪器 259

17.3 用户界面 259

17.3.1 可触摸用户界面 260

17.3.2 基于姿势的界面 261

17.4 应用 262

17.4.1 移动应用 262

17.4.2 合作应用 263

17.4.3 工业应用 264

17.5 结论 265

参考文献 265

中英文词汇对照表 269