• 3DFace基础---光照估计


      1、背景
      在做3D人脸重建,需要对图片做反渲染(从3D模型到2D图片),也就需要用到光照估计。
      3DMM 的方法里,对形状进行PCA分解,的顶点坐标的均值和基;对每个顶点处的颜色(rgb)作正交分解,得到纹理(texture)的均值和基。
      Smodel 代表形状模型,ρmodel 代表纹理模型
      但是3DMM里得到的纹理假定为不包含光照信息,只有(漫)反射(漫反射,albedo)信息的纹理(自己的理解:根据物理知识,物体反射的光由它自己本身的颜色决定,所以反射信息就是这一点处的“本质”颜色
     
    2、全局光照(global illumination)估计
      【A Signal-Processing Framework for Inverse Rendering】这篇论文说明了可以用球谐函数估计全局光照做反渲染的可行性,并且证明了使用前面9个球谐函数基(可以看维基【球谐函数】词条)的时候就能达到99%的近似。
      (并不能很好的理解球谐函数,毕竟数学物理渣渣....)
      在使用球谐函数估计人脸3D光照的时候,可以根据【Face Relighting from a Single Image under Arbitrary Unknown Lighting Conditions】这篇论文的指导,找到计算反渲染像素颜色信息的方法。这里说的颜色值,从光照的角度来说,就是光照的强度。
      公式:
      
    解释下公式: (u,v) 是指在2维图片下一个顶点的坐标,也可以认为成像素的坐标。I(u,v),即像素值,也就是这点像素的颜色。ρ也就是我们上一个公式里的漫反射情况下的纹理信息。li 是指球谐函数对应的系数。(这里解释下,球谐函数可以认为成一组正交基,可以表示整个空间的光照信息,那么在这组基下的系数 l 即表示在当前场景下的光照组合情况) hi 表示球谐基函数,n 表示的是在该点处的曲面法向量而且是单位法向量。
    前9个球谐函数:
      
     
    参考文献:
      Lee K C, Ho J, Kriegman D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005 (5): 684-698.
      Wang Y, Zhang L, Liu Z, et al. Face relighting from a single image under arbitrary unknown lighting conditions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(11): 1968-1984.
     
     
     
  • 相关阅读:
    C#之app.config、exe.config和vshost.exe.config作用区别
    C#中decimal ,double,float的区别
    C#中取整,向上取,向下取
    mybatis中的#和$的区别
    mybatis在xml文件中处理大于号小于号的方法
    ORACLE分页查询SQL语法——高效的分页
    移除powerdesigner中Recent Files中无效链接的文件
    Visual Studio提示“无法启动IIS Express Web服务器”的解决方法
    ORA-12638: 身份证明检索失败 的解决办法
    态度决定一切《跟任何人都聊得来》
  • 原文地址:https://www.cnblogs.com/xiaochun-zhao/p/9811316.html
Copyright © 2020-2023  润新知