一些知识点的初步理解_3(立体视觉,ing...)

     最近看了些立体视觉方面的资料，感觉立体视觉涉及到的东西太多，且数学理论比较强，特别是几何方面的东西，下面是对这一周看关于立体视觉方面的资料的初步总结，很多知识也是懂了个概念而已，深入的话要在以后的实践过程中不断体会，其中主要是一些名词，写下来算是对自己有个小的总结：

一.   射影几何知识。

    包括平面射影几何和空间射影几何。射影几何只是在欧式几何中引入了无穷远元素而已，比如说无穷远点，无穷远直线，无穷远曲线和曲面。因此在射影几何中2条平行线是可以相交的，交点在无穷远处，2个平行平面也交于无穷远处的一条直线。

    所以在二维射影几何中，引入了二维射影平面，即由欧式平面和无穷远直线构成。其中涉及到的相关知识点有其次坐标和非其次坐标，叉积，交比，射影参数，对偶，无穷远直线的表达，二次曲线，对偶二次曲线，退化二次曲线，圆环点，单应，自由度，等距变换，相似变换，仿射变换，射影变换之间的区别，几何失真，变换群与不变量等。

    三维射影几何中和二维的很类似，但是在三维射影空间中直线是最难表达的，且直线有4个自由度，而点和面只有3个自由度，点和面对偶，直线自对偶。涉及到的相关知识点有二次曲面，对偶二次曲面，扭三次曲线，绝对二次曲线。所有的球面交无穷远平面于绝对二次曲线，所有的圆交绝对二次曲线于2点，即圆环点。绝对对偶二次曲面，不变量，消隐点和消隐线的计算等。

    为什么在立体视觉中要引入射影几何呢？因为图片的成像并不保持欧式不变性，摄像机的成像过程是一个射影变换过程。

二.   摄像机模型。

    主要是小孔成像模型，中心透视投影模型。引入的概念有景深，视角，透视失真，物理坐标系，相机坐标系，物体图片坐标系，像素坐标系，主点偏移，相机内参数(5个，主点坐标2个，2个方向上的焦距，1个尺度因子)，相机外参数(2个，旋转和平移)，径向畸变，离心畸变，薄透镜畸变，仿射相机，摄像机矩阵等。

    其中一般的立体视觉中分析的原理都是小孔成像模型，但是用的却是中心透视投影模型。

三.   多视几何。

    因为从单幅图像中恢复场景中的结构和深度会引起歧义，所以引入了多视几何，主要包括二视几何和三视几何。

    二视几何是指同时获得2幅照片，比如说有2个摄像机或者一个摄像机移动拍摄2次。其概念有外极几何，外极点，基线，外极平面，外极线，外极线约束，本质矩阵，基本矩阵，8点算法估计基本矩阵，单应矩阵，不动点和不动线等。

    三视几何的产生是由于二视几何不能产生对直线的约束，2幅图像之间的约束由基本矩阵决定，3幅图像之间的约束由3焦张量决定，3幅及3幅以上的图像之间不存在独立的约束。

    多视几何的知识对后面的摄像机标定和三维重建有很大的帮助。

四.   摄像机标定理论。

    摄像机标定是指求出摄像机的内参数和外参数。涉及到的知识点有直接线性变换，退化配置，几何误差，黄金标准算法，矩阵分解，圆环点和摄像机内参数的约束，平行线与摄像机内参数的约束，Kruppa方程与摄像机内参数的约束，绝对二次曲线于摄像机内参数的约束，绝对二次曲面与摄像机内参数的约束，主动视觉系统，主动视觉标定等。

五.   三维重建理论。

    目前的计算机理论框架是基于marr理论的，marr理论认为三维重建是人类视觉的主要问题，也是计算机视觉最主要的研究方向。因此三维重建理论在计算机视觉中占有很重要的地位。三维重建的一般步骤时在多幅图中分别找出相应的对应特征点，然后匹配对应的特征点，然后根据对应的特征点的几何约束，颜色值约束，运动模型约束等其他约束来估算出空间中对应点的深度。其中最难的部分在与怎样将每幅图像中的点对应起来，即多目融合问题。

    目前三维重建理论涉及到的概念有重建过程，人体视觉理论，双目融合，灰度相关，交叉相关，相似性约束，窗口搜索，多尺度边缘匹配，动态规划，多视立体重建，多基线立体重建，视差，深度，立体元素，空间切割，剪影重构，相交体，基于切割的视觉壳，分层重建理论，射影重建，仿射重建，无穷远单应，相似重建，基于结构光的重建，基于纹理的重建，基于颜色值的重建，基于运动模型的重建，大规模场景重建等。

     

六.   参考文献：

1. 吴福朝 (2008). 计算机视觉中的数学方法, 科学出版社.
2. 中科院自动化所计算机视觉ppt，《立体视觉》.
3. Szeliski, R. (2010). Computer vision: algorithms and applications, Springer-Verlag New York Inc.
4. Shapiro, L. G. and G. C. Stockman ( 2001). Computer Vision, Prentice Hall.
5. Hartley, R., A. Zisserman, et al. (2003). Multiple view geometry in computer vision, Cambridge Univ Press.
6. Forsyth, D. A. and J. Ponce (2002). Computer vision: a modern approach, Prentice Hall Professional Technical Reference.
7. Bradski, G. and A. Kaehler (2008). Learning OpenCV: Computer vision with the OpenCV library, O'Reilly Media.

   立体视觉中的水很深，路漫漫其修远兮，吾将上下而求索！