学习笔记 | Udacity

Overview

• 3 Camera Models and Views

  • 3A Camera models 

  • 3B Stereo geometry 

  • 3C Camera calibration 

  • 3D Multiple views 

Log

• 1/30/2017: A L1
• 2/1/2017: A L2
• 2/2/2017: B L1
• 2/3/2017: B L2, L3
• 2/22/2017: C L1
• 2/23/2017: 3C L1

Reading

• Computer Vision: A Modern Approach (2nd edition): Chapter 7

• Computer Vision: A Modern Approach (2nd edition): 5.1, 5.2

• Multiple View Geometry in Computer Vision: 9.1

• ftp://www.cs.toronto.edu/pub/psala/VM/camera-parameters.pdf

Note

3A Camera models 

1. Camera Models

   • pinhole camera

     • aperture

     • camera obscura

2. epipolar geometry 对极几何

   用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系，那么如何描述它们之间的对应关系，这里用的描述工具就是是对极几何 ，它是研究立体视觉的重要数学方法。

   要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小。

   

   d^L 及 d^R 分别代表左右两侧相机焦点。
   场景坐标点 X^p 在左侧相机的成像坐标为 p^L，也就是左侧相机焦点与场景坐标点相连的直接与左侧相机影像平面所相交的点。
   
   Epipolar Line：
   如果已知左侧影像的成像点 p^L 的坐标，则该点的场景坐标 X^p 一定位于左侧相机焦点与左侧影像的成像点所构成的延伸直线上，虽然无法确认 X^p 在这条直线上的确切位置，不过可以肯定的是，这条延伸直线在右侧影像的成像同样也会是一条直线，所以在右侧的成像点会位于此像直线上，这条直线也就是 Epipolar Line e(p^L)。
   
   Epipolar Plane：
   在以影像座标点 p^L 及 左、右两侧相机焦点 d^L、d^R 所构成的平面来看，场景座标 X^P 及 右侧影像座标点 p^R 一定也会位在此平面上，这个平面即称为 Epipolar Plane。
   
   Epipolar Constraint：
   假设某个场景座标点 X^p 在左侧相机成像的影像座标点为 p^L，则其在右侧相机成像的影像座标点一定会位于 Epipolar Line e(p^L)。
   要注意的一点是，Epipolar Line 会依据左侧影像座标点位置的不同而随之变动。
   
   Epipole：(又稱 Epipolar Point)
   所有在右侧影像形成的 Epipolar Line 都会相交于同一个点，这个点就称为 Epipole。这个点同时也是右侧影像平面与由左、右两台相机焦点 d^L、d^R所构成的直线所相交的点。

3. matlab / octave: sumsq
4. matlab / octave: matrix(:) --> ?
5. matlab / octave: cross coorelation between two matrix

3B Stereo geometry 

3B-L2

1. Middlebury Stereo Datasets

2. Better Results And Challenges

   • Links

     • Fast Approximate Energy Minimization via Graph Cuts

     • Middlebury Stereo Datasets

3C Camera calibration 

3C-L1 Extrinsic Geometry

1. extrinsic parameters 外部参数

2. Post: Understanding Camera Calibration

3. How many degrees of freedom are there in the 3X4 extrinsic parameter matrix?