得益于近年来手机产业的快速发展,以及苹果iPhone X创新式的引用3D摄像头,让3D传感首次大规模进入了消费者的视线当中并得到快速发展。下面介绍3D传感主流的实现方式及各自原理。
一、结构光
结构光(Structured Light)是通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算。
结构光深度相机原理示意图(注意E端发射的带图案的光源)
结构光法不依赖于物体本身的颜色和纹理,采用了主动投影已知图案的方法来实现快速鲁棒的匹配特征点,能够达到较高的精度,也大大扩展了适用范围。“结构光的距离和深度以及安全适应都是最佳的,当然它的价位也是最高的,这也就是为何目前只有高端手机选择结构光的原因。”不过,结构光也有其缺点,比如室强光环境下基本不能使用,测量距离较近,容易受到光滑平面反光的影响等。
二、双目立体视觉
基于双目立体视觉的深度相机类似人类的双眼,和基于ToF、结构光原理的深度相机不同,它不对外主动投射光源,完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度,因此有时候也被称为被动双目深度相机。
双目立体视觉是基于视差,由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和被测物体之间构成一个三角形。已知两个摄像机之间的位置关系,便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。所以,双目视觉系统一般由两个摄像机构成。
双目立体视觉三维测量原理
左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点,就完全可以确定该点的三维坐标。这种方法是点对点的运算,像平面上所有点只要存在相应的匹配点,就可以参与上述运算,从而获取对应的三维坐标。双目视觉仅依靠图像进行特征匹配,在使用双目视觉相机前必须对双目中两个摄像头的位置进行精确标定。
从目前来看,随着机器视觉理论的发展,立体视觉在机器视觉研究中发回来看了越来越重要的作用。 “主动立体视觉比较适合覆盖中等的距离,它的深度图质量也是比较优良,但是精度没有结构光好,由于比较简单,价位比结构光更具有优势,所以其受到一些客户的青睐。”
双目立体视觉因为不需要像ToF和结构光那样使用特殊的发射器和接收器,使用普通的消费级RGB相机即可。因此对相机硬件要求低,成本也低。另外,由于直接根据环境光采集图像,所以双目立体视觉在室内、室外都能使用。当然双目立体视觉也有其自身缺点,对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像,而由于光照角度变化、光照强度变化等环境因素的影响,拍摄的两张图片亮度差别会比较大,这会对匹配算法提出很大的挑战。
立体视觉(左)和结构光(右)深度相机拍摄的图像和对应的深度图
三、ToF
ToF(Time of Flight,飞行时间)的基本原理是通过红外发射器发射调制过的光脉冲,遇到物体反射后,用接收器接收反射回来的光脉冲,并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高,光速那么快,对于时间的测量有极高的精度要求。
ToF飞行时间法深度测量基本原理示意图
由于测量光的飞行时间需要非常高的频率和精度,早期的ToF设备在体积上一直存在问题,成本也高,所以较多用于工业领域。ToF的小型化极大依赖于近年来集成电路与传感器技术上的突破,使得在CMOS芯片上对光脉冲相位的测量逐渐变得可行。有芯片上的解决方案,才有小型化和低成本的产品出现。不过“ToF方案比较适合中远距离应用 ”。
四、3D传感应用
目前3D传感主要应用在手机前置的脸部识别,诸如设备解锁、身份认证等,还有一些像面具、替身、VR、AR等应用。
除此以外,还有更广市场应用,其一,是智能家居和自动化,如在智能家居方面,3D传感方案被用来检测人的位置、手势识别、虚拟影射等;在工业自动化方面,像3D位置传感、自动化机器人、模式识别。其二,在汽车应用方面,一些汽车厂商也采用了大量3D传感方案用于驾驶员的身份认证和驾驶员的监控和智能手势识别等。