VINS-Mono代码分析与总结(二) 系统初始化

Vins-Mono完整版总结：https://www.zybuluo.com/Xiaobuyi/note/866099

参考文献

1 VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator, Tong Qin, Peiliang Li, Zhenfei Yang, Shaojie Shen (techincal report)
2 Solà J. Quaternion kinematics for the error-state KF[M]// Surface and Interface Analysis. 2015.
3 Solà J. Yang Z, Shen S. Monocular Visual–Inertial State Estimation With Online Initialization and Camera–IMU Extrinsic Calibration[J]. IEEE Transactions on Automation Science & Engineering, 2017, 14(1):39-51.
4 Engel J, Schöps T, Cremers D. LSD-SLAM: Large-scale direct monocular SLAM[C]//European Conference on Computer Vision. Springer, Cham, 2014:834-849.
5 Shen S, Michael N, Kumar V. Tightly-coupled monocular visual-inertial fusion for autonomous flight of rotorcraft MAVs[C]// IEEE International Conference on Robotics and Automation. IEEE, 2015:5303-5310.
6 Shen S, Mulgaonkar Y, Michael N, et al. Initialization-Free Monocular Visual-Inertial State Estimation with Application to Autonomous MAVs[M]// Experimental Robotics. Springer International Publishing, 2016.
7 Sibley G. A Sliding Window Filter for SLAM[J]. University of Southern California, 2006.
8 CamOdoCal: https://github.com/hengli/camodocal

---

3 系统初始化

  在提取的图像的Features和做完IMU的预积分之后，进入了系统的初始化环节，那么系统为什么要进行初始化呢，主要的目的有以下两个：

• 系统使用单目相机，需要恢复尺度；
• 要对IMU进行初始化，IMU会受到bias的影响，所以要得到IMU的bias(只估计了陀螺仪的Bias);
• VIO的一些初始状态量未知。

所以我们要从初始化中恢复出尺度、重力、速度以及IMU的bias，因为视觉(SFM)在初始化的过程中有着较好的表现，所以在初始化的过程中主要以SFM为主，然后将IMU的预积分结果与其对齐，即可得到较好的初始化结果。
  系统的初始化主要包括三个环节：求取相机与IMU之间的相对旋转、相机初始化(局部滑窗内的SFM，包括没有尺度的BA)、IMU与视觉的对齐(IMU预积分中的 (alpha)等和相机的translation)。

3.1 相机与IMU之间的相对旋转

  这个地方相当于求取相机与IMU的一部分外参。相机与IMU之间的旋转标定非常重要，偏差1-2°系统的精度就会变的极低。这部分的内容参考文献[3]中Ⅴ-A部分，这里做简单的总结。
  设相机利用对极关系得到的旋转矩阵为 (R^{c_{k}}_{c_{k+1}})，IMU经过预积分得到的旋转矩阵为(R^{b_{k}}_{b_{k+1}})，相机与IMU之间的相对旋转为 (R^{b}_{c})，则对于任一帧满足，

[R^{b_{k}}_{b_{k+1}}R^{b}_{c}=R^{b}_{c}R^{c_{k}}_{c_{k+1}} ag{3.1} ]

对式(3.1)可以做简单的证明，在其两边同乘 (^{c}x_{k+1}) 得

[egin{align} onumber R^{b_{k}}_{b_{k+1}}R^{b}_{c}{^{c}x_{k+1}}&=R^{b}_{c}R^{c_{k}}_{c_{k+1}}{^{c}x_{k+1}} \ onumber R^{b_{k}}_{b_{k+1}}{^{b}x_{k+1}}&=R^{b}_{c}{^{c}x_{k}} \ onumber ^{b}x_{k}&=^{b}x_{k} end{align} ]

将旋转矩阵写为四元数，则式(3.1)可以写为

[q^{b_{k}}_{b{k+1}}otimes q^{b}_{c}=q^{b}_{c}otimes q^{c_{k}}_{c{k+1}} ]

将其写为左乘和右乘的形式，综合为

[[Q_{1}(q^{b_{k}}_{b{k+1}})-Q_{2}(q^{c_{k}}_{c{k+1}})]q^{b}_{c}=Q^{k}_{k+1}q^{b}_{c}=0 ag{3.2} ]

其中 (Q_{1}(q^{b_{k}}_{b{k+1}}))，(Q_{2}(q^{c_{k}}_{c{k+1}})) 分别表示四元数的左乘和右乘形式，

[egin{align} onumber Q_{1}(q)&=egin{bmatrix} q_{w}I_{3}+[q_{xyz }]_{ imes} & q_{xyz}\ onumber -q_{xyz} & q_{w} end{bmatrix} \ Q_{2}(q)&=egin{bmatrix} q_{w}I_{3}-[q_{xyz }]_{ imes} & q_{xyz}\ onumber -q_{xyz} & q_{w} end{bmatrix} end{align} ag{3.3} ]

这个地方因为四元数的实部在前在后的表达不一样，而左右乘的形式也不一样，所以文献[2]和文献[3]存在区别。Vins-Mono使用的是Eigen实部在后的表达方式。
那么对于 (n)对测量值，则有

[egin{bmatrix} w^{0}_{1}Q^{0}_{1}\ w^{1}_{2}Q^{1}_{2}\ vdots \ w^{N-1}_{N}Q^{N-1}_{N} end{bmatrix}q^{b}_{c}=Q_{N}q^{b}_{c}=0 ag{3.4} ]

其中 (w^{N-1}_{N}) 为外点剔除权重，其与相对旋转求取得残差有关，(N)为最新的视觉帧的index，其由最终的终止条件决定。残差可以写为，

[r^{k}_{k+1}=acos((tr(hat{R}^{b^{-1}}_{c}R^{b_{k}^{-1}}_{b_{k+1}}hat{R}^{b}_{c}R^{c_{k}}_{c_{k+1}} )-1)/2) ag{3.5} ]

残差还是很好理解的，在具体的代码中可以计算公式(3.1)两边两个旋转的得角度差。在得到残差之后就可以进一步得到公式(3.4)中的权重，

[w^{k}_{k+1}=left{egin{matrix} 1,qquad r^{k}_{k+1}<threshold\ frac{threshold}{r^{k}_{k+1}},qquad otherwise end{matrix} ight. ag{3.6} ]

一般会将阈值 (threshold) 取做 (5°)。至此，就可以通过求解方程(3.4)得到相对旋转，式(3.4)的解为 (Q_{N}) 的左奇异向量中最小奇异值对应的特征向量。
  但是，在这里还要注意 求解的终止条件(校准完成的终止条件) 。在足够多的旋转运动中，我们可以很好的估计出相对旋转 (R^{b}_{c})，这时 (Q_{N}) 对应一个准确解，且其零空间的秩为1。但是在校准的过程中，某些轴向上可能存在退化运动(如匀速运动)，这时 (Q_{N}) 的零空间的秩会大于1。判断条件就是 (Q_{N}) 的第二小的奇异值是否大于某个阈值，若大于则其零空间的秩为1，反之秩大于1，相对旋转(R^{b}_{c}) 的精度不够，校准不成功。

3.2 相机初始化

  这一阶段的思路就是单目相机的初始化过程，先求取本质矩阵求解位姿，进而三角化特征点，然后PnP求解位姿，不断重复的过程，直到恢复出滑窗内的Features和相机位姿，代码比较清晰。要注意的就是坐标系的和位姿的变换，容易混乱。如以下几个函数：
triangulateTwoFrames ：输入是相机外参(世界到相机)，求解出的3D点是在世界坐标系下。
cv::solvePnP：该API输入是世界坐标系的点，求解出的是世界坐标系到相机坐标系的变换，所以一般需要将结果转置。

3.3 视觉与IMU对齐

  视觉与IMU的对齐主要解决三个问题：
  (1) 修正陀螺仪的bias；
  (2) 初始化速度、重力向量 (g)和尺度因子(Metric scale)；
  (3) 改进重力向量 (g)的量值；

3.3.1 陀螺仪Bias修正

  发现校正部分使用的都是一系列的约束条件，思路很重要啊。陀螺仪Bias校正的时候也是使用了一个简单的约束条件：

[underset{delta b_{w}}{min}sum_{kin B}^{ }left | q^{c_{0}^{-1}}_{b_{k+1}}otimes q^{c_{0}}_{b_{k}}otimesgamma _{b_{k+1}}^{b_{k}} ight |^{2} ag{3.7} ]

其中

[gamma _{b_{k+1}}^{b_{k}}approx hat{gamma}_{b_{k+1}}^{b_{k}}otimes egin{bmatrix} 1\ frac{1}{2}J^{gamma }_{b_{w}}delta b_{w} end{bmatrix} ag{3.8} ]

公式(3.7)的最小值为单位四元数 ([1,0_{v}]^{T}) ,所以将式(3.7)进一步写为，

[egin{align} onumber q^{c_{0}^{-1}}_{b_{k+1}}otimes q^{c_{0}}_{b_{k}}otimesgamma _{b_{k+1}}^{b_{k}}&=egin{bmatrix} 1\ 0 end{bmatrix} \ onumber hat{gamma}_{b_{k+1}}^{b_{k}}otimes egin{bmatrix} 1\ frac{1}{2}J^{gamma }_{b_{w}}delta b_{w} end{bmatrix}&=q^{c_{0}^{-1}}_{b_{k}}otimes q^{c_{0}}_{b_{k+1}} \ end{align} ]

[egin{bmatrix} 1\ frac{1}{2}J^{gamma }_{b_{w}}delta b_{w} end{bmatrix}=hat{gamma}_{b_{k+1}}^{b_{k}^{-1}}otimes q^{c_{0}^{-1}}_{b_{k}}otimes q^{c_{0}}_{b_{k+1}} ag{3.9} ]

只取式(3.9)式虚部，在进行最小二乘求解

[J^{gamma^{T}}_{b_{w}}J^{gamma }_{b_{w}}delta b_{w}=2*J^{gamma^{T}}_{b_{w}}(hat{gamma}_{b_{k+1}}^{b_{k}^{-1}}otimes q^{c_{0}^{-1}}_{b_{k}}otimes q^{c_{0}}_{b_{k+1}}).vec ag{3.10} ]

求解式(3.10)的最小二乘解，即可得到 (delta b_{w})，注意这个地方得到的只是Bias的变化量，需要在滑窗内累加得到Bias的准确值。

3.3.2 初始化速度、重力向量 (g)和尺度因子

  在这个步骤中，要估计系统的速度、重力向量以及尺度因子。所以系统的状态量可以写为，

[X_{I}=[v^{c_{0}}_{b_{0}},v^{c_{0}}_{b_{1}},cdots ,g^{c_{0}},s] ag{3.11} ]

上面的状态量都是在 (c_{0}) 相机坐标系下。接着，有前面的由预积分部分，IMU的测量模型可知

[egin{align} onumber alpha^{b_{k}}_{b_{k+1}}&=q^{b_{k}}_{c_{0}}(s(ar{p}^{c_{0}}_{b_{k+1}}-ar{p}^{c_{0}}_{b_{k}})+frac{1}{2}g^{c_{0}} riangle t_{k}^{2}-v^{c_{0}}_{b_{k}} riangle t_{k}^{2}) \ onumber eta ^{b_{k}}_{b_{k+1}}&=q^{b_{k}}_{c_{0}}(v^{c_{0}}_{b_{k+1}}+g^{c_{0}} riangle t_{k}-v^{c_{0}}_{b_{k}}) end{align} ag{3.12} ]

在3.1小节，我们已经得到了IMU相对于相机的旋转 (q_{b}^{c}),假设IMU到相机的平移量(p_{b}^{c}) 那么可以很容易地将相机坐标系下的位姿转换到IMU坐标系下，

[egin{align} onumber q_{b_{k}}^{c_{0}} &= q^{c_{0}}_{c_{k}}otimes q_{b}^{c} \ onumber sar{p}^{c_{0}}_{b_{k}}&=sar{p}^{c_{0}}_{c_{k}}+q^{c_{0}}_{c_{k}}p_{b}^{c} end{align} ag{3.13} ]

综合式(3.12)和式(3.13)可得，

[egin{align} onumber hat{z}^{b_{k}}_{b_{k+1}}&=egin{bmatrix} alpha^{b_{k}}_{b_{k+1}}-q^{c_{0}}_{c_{k+1}}p^{c}_{b}+q^{c_{0}}_{c_{k}}p^{c}_{b}&\ onumber eta ^{b_{k}}_{b_{k+1}} end{bmatrix}=H^{b_{k}}_{b_{k+1}}X_{I}+n^{b_{k}}_{b_{k+1}} \ onumber &approx egin{bmatrix} -q^{b_{k}}_{c_{0}} riangle t_{k} &0& 1/2q^{b_{k}}_{c_{0}} riangle t_{k}^{2} &q^{b_{k}}_{c_{0}}(ar{p}^{c_{0}}_{b_{k+1}}-ar{p}^{c_{0}}_{b_{k}}) \ -q^{b_{k}}_{c_{0}}& q^{b_{k}}_{c_{0}} &q^{b_{k}}_{c_{0}} riangle t_{k} & 0 end{bmatrix}egin{bmatrix} v^{c_{0}}_{b_{k}}\ v^{c_{0}}_{b_{k+!}}\ g^{c_{0}}\ s end{bmatrix} end{align} ag{3.14} ]

这一步的推导也比较简单，以(H)矩阵的第一行，将式(3.13)的(2)式带入(3.12)的(1)式可得

[egin{align} onumber alpha^{b_{k}}_{b_{k+1}}&=q^{b_{k}}_{c_{0}}(s(ar{p}^{c_{0}}_{c_{k+1}}-ar{p}^{c_{0}}_{c_{k}}+(q_{c_{k+1}}^{c_{0}}-q_{c_{k}}^{c_{0}})p^{b}_{c}+frac{1}{2}g^{c_{0}} riangle t_{k}^{2}-v^{c_{0}}_{b_{k}} riangle t_{k}^{2}) \ onumber alpha^{b_{k}}_{b_{k+1}}&-q^{b_{k}}_{c_{0}}(q_{c_{k+1}}^{c_{0}}-q_{c_{k}}^{c_{0}})p^{b}_{c}=q^{b_{k}}_{c_{0}}(s(ar{p}^{c_{0}}_{c_{k+1}}-ar{p}^{c_{0}}_{c_{k}}p^{b}_{c})+frac{1}{2}g^{c_{0}} riangle t_{k}^{2}-v^{c_{0}}_{b_{k}} riangle t_{k}^{2}) end{align} ]

但是不知道为什么论文，在做了近似之后漏了上式等式左边的(q^{b_{k}}_{c_{0}})。
最后求解最小二乘问题

[underset{delta b_{w}}{min}sum_{kin B}^{ }left | hat{z}^{b_{k}}_{b_{k+1}}-H^{b_{k}}_{b_{k+1}}X_{I} ight |^{2} ]

至此即可求解出所有状态量，但是对于重力向量 (g^{c_{0}}) 还要做进一步的纠正。在纠正(g^{c_{0}}) 的过程中，会对速度也做进一步的优化。

3.3.3 纠正重力向量

  这部分和上一小节的内容差不多，就是迭代不断更新重力向量的过程，要注意重力向量被表达为：

[hat{g} = gcdot hat{ar{g}} + omega_{1}b_{1}+omega_{2}b_{2} ]

VINS-Mono代码注释：https://github.com/gaochq/VINS-Mono/tree/comment
注释不完整，可以一起交流。