什么是光流
相机在进行拍摄时,物体的亮度值被投影到成像传感器上,从而形成了照片。我们通常关注视频序列中运动的部分,即场景中不同元素的三维运动在成像平面上的投影。三维运动向量的投影图被称作运动场。但是在只有一个相机传感器的情况下,是不可能直接测量三维运动的,我们
只能观察到帧与帧之间运动的亮度模式。亮度模式上的表观运动被称作光流。通常认为运动场和光流是等同的,但其实并不一定。典型的例子是观察均匀的物体;例如相机在白色的墙壁前移动时就不产生光流。
一个比较常见的例子是理发店门口的旋转灯柱,在这个例子中,运动场上的运动向量是水平方向的,因为灯柱绕垂直的轴心旋转,灯柱表面上的任何一个点的运动方向都与轴线垂直且平行于地表面。但是在路人眼中,红色和蓝色带子是向上运动的,而这正是光流的方向。虽然有这些差异,但仍可以用光流粗略地表示运动场。这篇文章就将解释如何估算出图像序列的光流。
亮度恒定方程:图像处理理论(十)——Optical flow, Particle filter, 从BOW到SPM, Superpixel (antkillerfarm.github.io)
单一方程含了两个未知量,是无法计算一个像素位置光流的,需要增加一个额外约束条件,