畸变的单目摄像机标定
Deep Single Image Camera Calibration with Radial Distortion
摘要
单图像标定是从一幅图像中预测摄像机参数的问题。在处理由非校准相机（如众包应用程序）在非受控条件下采集的图像时，此问题非常重要。在这项工作中，本文提出了一种方法来预测外部（倾斜和滚动）和内部（焦距和径向失真）参数从一个单一的图像。提出了一种比直接预测畸变参数更适合学习的径向畸变参数化方法。此外，预测额外的异质变量加剧了损失平衡的问题。本文提出了一种新的基于点预测的损失函数，以避免非均匀损失项之间的平衡。据本文所知，本文的方法是首先从单个图像联合估计倾斜、滚动、焦距和径向失真参数。深入分析了该方法的性能和改进后的效果，并与以往的单幅图像径向畸变校正方法进行了比较。
1. Introduction
在这项工作中，本文提出了一种方法来恢复外部（倾斜，滚动）和内部（焦距和径向失真）参数给定的单一图像。本文训练卷积神经网络来对这些参数的替代表示进行回归，这些参数更适合从单个图像进行预测。本文以三个主要贡献推动了技术进步：
1）k1和k2的单参数表示基于实际标定相机的大型数据库。
2）径向畸变的一种表示，它独立于焦距，并且更容易被网络学习。
3）提出了一种新的基于点投影的损失函数，解决了非均匀损失分量的平衡问题。据本文所知，这项工作是第一次联合估计相机的方向和校准，同时包括径向失真。
2. Method
在这项工作中，本文不试图恢复图像的位置或全旋转矩阵，因为这将需要网络记住环境的外观，将本文的单图像校准问题变成另一个问题，即所谓的位置识别。取而代之的是，本文以地平线为参考系，留下两个自由参数：相机相对于地平线的倾斜θ和转动Ψ角。这使得一个网络可以利用一组地点的图像进行训练，只要有足够的视觉多样性，就可以很好地推广到其他地方。
正如前面的工作[4，5，8]所揭示的，对变量进行适当的参数化以进行预测可以极大地提高网络的收敛性和最终性能。对于摄像机校准，焦距或倾角等参数很难从图像内容进行解释。相反，它们可以更好地用代理参数来表示，代理参数可以直接在图像中观察到。本文从已经存在的参数化开始，提出了处理径向畸变图像所需的新参数化。本文让读者参考图2来补充本节的内容。本文从定义地平线开始，如[5]所述：“地平线的图像位置被定义为直线在与局部重力矢量正交的任何平面上的投影。”。这种定义也适用于具有径向畸变的相机，但是，图像中地平线的投影不一定保持直线。焦距f通过图像高度h和宽度w的大小与垂直和水平视场相关。视场与图像内容直接相关，因此更适合于任务。本文使用垂直视野，定义为
作为焦距的代理。在网络部署过程中，图像高度h是已知的，焦距可以从预测的Fv中恢复。摄像机的滚动角Ψ在图像中直接表示为地平线的角度，不需要任何替代参数化。倾斜角θ的一个很好的代表是从图像中心到地平线的距离ρ。以前的工作对针孔相机使用这样的参数化，没有失真[5]，然而，径向失真的存在稍微使这种关系复杂化。本文首先定义未失真的偏移量τ为没有径向失真时从图像中心到地平线的距离。它可以表示为倾角和焦距的函数：
当训练单个结构预测不同量级的参数时，必须特别注意对损失分量进行加权，以使某些参数的估计不支配学习过程。本文注意到，在摄像机标定的情况下，不必单独优化摄像机参数，而是可以使用基于点投影的单一度量，该度量具有估计的和地面真实的摄像机参数。让本文从观察开始，相机模型本质上是从图像平面的像素坐标到3D中的方位（方向向量）的简单双向映射[15，16]。相机的内部和外部参数决定了图像中每个像素的一个这样的方向。所提出的损失是对这些方向向量上的误差而不是单个参数误差的度量，达到了将所有参数误差表示为单个度量的目的。
3. Experiments
然而，这可能并不总是这样，例如，当使用不同的相机模型时，正如Yin等人所报告的那样 [13] ，或者使用与本文在这里建议的参数化不同的参数化。只是碰巧这个参数化很适合用单位权重训练。为了说明选择较低最优权重的效果，本文使用不同权重集的Huber损失加权和（公式13）训练了多个网络，并比较了图6中得到的验证误差曲线。
图7显示了比较ˆk1和k1的预测以及畸变偏移量ρ和未畸变偏移量τ的预测的散点图，表明所提出的参数化比基线更容易学习（更准确地预测）。
这些误差分布如图8所示。对角线图显示了每个参数相对于其地面真值的预测误差分布。本文还研究了每个参数相对于其他参数的地面真值的误差分布。这在非对角线图中显示，揭示了一些有趣的见解。
如第3.4节所述，应生成训练集以复制部署此类网络时将看到的图像的分布。本文预计误差分布会随着训练数据的分布而变化，因为这些数据的跨度直接关系到问题的难度。因此，图8所示的绝对误差与它们之间的关系无关。对于要部署这样的网络的特定应用程序域，应研究这些错误。
4. Conclusions
本文提出了一种基于学习的方法来联合预测摄像机的外部和内部参数，包括径向畸变。提出的参数化方法与焦距分离，非常适合于预测。本文还引入了一个新的损失函数来解决损失平衡问题。最后，本文验证了该方法相对于基于几何的不失真方法的优越性。在以后的工作中，本文将探索用单参数畸变模型进行畸变校正[7，22]。更重要的是，本文将在大规模结构中应用单图像摄像机标定，从不同摄像机模型的众包图像上进行运动，本文看到了基于学习的方法增强系统鲁棒性的潜力。