视觉SLAM十四讲 从理论到实践PDF电子书下载

第1讲 预备知识 1

1.1 本书讲什么 1

1.2 如何使用本书 3

1.2.1 组织方式 3

1.2.2 代码 5

1.2.3 面向的读者 6

1.3 风格约定 6

1.4 致谢和声明 7

第2讲 初识SLAM 9

2.1 引子：小萝卜的例子 11

2.2 经典视觉SLAM框架 17

2.2.1 视觉里程计 17

2.2.2 后端优化 19

2.2.3 回环检测 20

2.2.4 建图 21

2.3 SLAM问题的数学表述 22

2.4 实践：编程基础 25

2.4.1 安装Linux操作系统 25

2.4.2 Hello SLAM 27

2.4.3 使用cmake 28

2.4.4 使用库 30

2.4.5 使用IDE 32

第3讲 三维空间刚体运动 37

3.1 旋转矩阵 39

3.1.1 点和向量，坐标系 39

3.1.2 坐标系间的欧氏变换 40

3.1.3 变换矩阵与齐次坐标 42

3.2 实践：Eigen 44

3.3 旋转向量和欧拉角 48

3.3.1 旋转向量 48

3.3.2 欧拉角 50

3.4 四元数 51

3.4.1 四元数的定义 51

3.4.2 四元数的运算 53

3.4.3 用四元数表示旋转 55

3.4.4 四元数到旋转矩阵的转换 55

3.5 相似、仿射、射影变换 56

3.6 实践：Eigen几何模块 57

3.7 可视化演示 60

第4讲 李群与李代数 62

4.1 李群与李代数基础 64

4.1.1 群 64

4.1.2 李代数的引出 65

4.1.3 李代数的定义 67

4.1.4 李代数so（3） 67

4.1.5 李代数se（3） 68

4.2 指数与对数映射 69

4.2.1 SO（3）上的指数映射 69

4.2.2 SE（3）上的指数映射 70

4.3 李代数求导与扰动模型 72

4.3.1 BCH公式与近似形式 72

4.3.2 SO（3）李代数上的求导 73

4.3.3 李代数求导 74

4.3.4 扰动模型（左乘） 75

4.3.5 SE（3）上的李代数求导 76

4.4 实践：Sophus 76

4.5 相似变换群与李代数 79

4.6 小结 81

第5讲 相机与图像 82

5.1 相机模型 84

5.1.1 针孔相机模型 84

5.1.2 畸变 87

5.1.3 双目相机模型 90

5.1.4 RGB-D相机模型 92

5.2 图像 93

5.3 实践：图像的存取与访问 95

5.3.1 安装OpenCV 95

5.3.2 操作OpenCV图像 96

5.4 实践：拼接点云 99

第6讲 非线性优化 104

6.1 状态估计问题 106

6.1.1 最大后验与最大似然 106

6.1.2 最小二乘的引出 108

6.2 非线性最小二乘 109

6.2.1 一阶和二阶梯度法 110

6.2.2 高斯牛顿法 111

6.2.3 列文伯格—马夸尔特方法 113

6.2.4 小结 114

6.3 实践：Ceres 115

6.3.1 Ceres简介 116

6.3.2 安装Ceres 116

6.3.3 使用Ceres拟合曲线 117

6.4 实践：g2o 121

6.4.1 图优化理论简介 121

6.4.2 g2o的编译与安装 122

6.4.3 使用g2o拟合曲线 123

6.5 小结 128

第7讲 视觉里程计1 130

7.1 特征点法 132

7.1.1 特征点 132

7.1.2 ORB特征 134

7.1.3 特征匹配 137

7.2 实践：特征提取和匹配 138

7.3 2D-2D：对极几何 141

7.3.1 对极约束 141

7.3.2 本质矩阵 143

7.3.3 单应矩阵 146

7.4 实践：对极约束求解相机运动 148

7.5 三角测量 153

7.6 实践：三角测量 154

7.6.1 三角测量代码 154

7.6.2 讨论 156

7.7 3D-2D：PnP 157

7.7.1 直接线性变换 158

7.7.2 P3P 159

7.7.3 Bundle Adjustment 161

7.8 实践：求解PnP 165

7.8.1 使用EPnP求解位姿 165

7.8.2 使用BA优化 166

7.9 3D-3D：ICP 172

7.9.1 SVD方法 173

7.9.2 非线性优化方法 175

7.10 实践：求解ICP 176

7.10.1 SVD方法 176

7.10.2 非线性优化方法 178

7.11 小结 180

第8讲 视觉里程计2 182

8.1 直接法的引出 184

8.2 光流（Optical Flow） 185

8.3 实践：LK光流 187

8.3.1 使用TUM公开数据集 187

8.3.2 使用LK光流 188

8.4 直接法（Direct Method） 192

8.4.1 直接法的推导 192

8.4.2 直接法的讨论 195

8.5 实践：RGB-D的直接法 196

8.5.1 稀疏直接法 196

8.5.2 定义直接法的边 197

8.5.3 使用直接法估计相机运动 199

8.5.4 半稠密直接法 200

8.5.5 直接法的讨论 202

8.5.6 直接法优缺点总结 203

第9讲 实践：设计前端 205

9.1 搭建VO框架 206

9.1.1 确定程序框架 207

9.1.2 确定基本数据结构 208

9.1.3 Camera类 210

9.1.4 Frame类 212

9.1.5 MapPoint类 213

9.1.6 Map类 213

9.1.7 Config类 214

9.2 基本的VO：特征提取和匹配 216

9.2.1 两两帧的视觉里程计 216

9.2.2 讨论 224

9.3 改进：优化PnP的结果 224

9.4 改进：局部地图 227

9.5 小结 233

第10讲 后端1 235

10.1 概述 237

10.1.1 状态估计的概率解释 237

10.1.2 线性系统和KF 239

10.1.3 非线性系统和EKF 242

10.1.4 EKF的讨论 243

10.2 BA与图优化 245

10.2.1 投影模型和BA代价函数 245

10.2.2 BA的求解 247

10.2.3 稀疏性和边缘化 248

10.2.4 鲁棒核函数 255

10.2.5 小结 256

10.3 实践：g2o 257

10.3.1 BA数据集 257

10.3.2 g2o求解BA 258

10.3.3 求解 262

10.4 实践：Ceres 264

10.4.1 Ceres求解BA 265

10.4.2 求解 267

10.5 小结 269

第11讲 后端2 270

11.1 位姿图（Pose Graph） 271

11.1.1 Pose Graph的意义 271

11.1.2 Pose Graph的优化 272

11.2 实践：位姿图优化 274

11.2.1 g2o原生位姿图 274

11.2.2 李代数上的位姿图优化 278

11.2.3 小结 284

11.3 因子图优化初步 285

11.3.1 贝叶斯网络 285

11.3.2 因子图 286

11.3.3 增量特性 288

11.4 实践：gtsam 289

11.4.1 安装gtsam 4.0 289

11.4.2 位姿图优化 290

第12讲 回环检测 297

12.1 回环检测概述 299

12.1.1 回环检测的意义 299

12.1.2 方法 300

12.1.3 准确率和召回率 301

12.2 词袋模型 303

12.3 字典 305

12.3.1 字典的结构 305

12.3.2 实践：创建字典 306

12.4 相似度计算 309

12.4.1 理论部分 309

12.4.2 实践：相似度的计算 310

12.5 实验分析与评述 314

12.5.1 增加字典规模 314

12.5.2 相似性评分的处理 316

12.5.3 关键帧的处理 316

12.5.4 检测之后的验证 317

12.5.5 与机器学习的关系 317

第13讲 建图 319

13.1 概述 320

13.2 单目稠密重建 322

13.2.1 立体视觉 322

13.2.2 极线搜索与块匹配 323

13.2.3 高斯分布的深度滤波器 325

13.3 实践：单目稠密重建 328

13.4 实验分析与讨论 339

13.4.1 像素梯度的问题 339

13.4.2 逆深度 340

13.4.3 图像间的变换 341

13.4.4 并行化：效率的问题 342

13.4.5 其他的改进 343

13.5 RGB-D稠密建图 343

13.5.1 实践：点云地图 344

13.5.2 八叉树地图 347

13.5.3 实践：八叉树地图 350

13.6 TSDF地图和Fusion系列 352

13.7 小结 356

第14讲 SLAM：现在与未来 357

14.1 当前的开源方案 358

14.1.1 MonoSLAM 358

14.1.2 PTAM 359

14.1.3 ORB-SLAM 361

14.1.4 LSD-SLAM 363

14.1.5 SVO 364

14.1.6 RTAB-MAP 366

14.1.7 其他 367

14.2 未来的SLAM话题 367

14.2.1 视觉＋惯性导航SLAM 367

14.2.2 语义SLAM 369

14.2.3 SLAM的未来 370

附录A 高斯分布的性质 371

附录B ROS入门 374

参考文献 377