• Towards Learning Structure via Consensus for Face Segmentation and Parsing


    motivation

    以前的人脸分割方法都旨在产生复杂的框架,或者复杂的人脸增强器来同化模糊,或者用对抗训练。我们采用了一种可选择的路径来进行强壮的人脸分割和解析

    contribution

    (1)通过3维投影使用强先验计算得到完整的人脸形状,与事先存在的人脸分割网络之间的差异来进行分解遮挡

    (2)利用前面分解的对象的连接组件,将他们作为约束来构造一个新的损失函数,该函数仍然执行一个密集的分类,但通过共识学习在网络中加强结构

    (3)最后展示我们的方法对于人脸解析问题是一个通用的工具

     

     f是全脸轮廓的掩膜,fooc是人脸分割的掩膜。p是残差。p最后是由先腐蚀操作再膨胀操作的开运算(其作用是:分离物体,消除小区域。本文中则把红色部分的blob给消除掉了)得到的。

    (2)式课看做分段函数,C(s)相当于y上的自变量。当C(s)取值不同时,y(s)代表的含义不同

     

     s=1表示face上的像素的位置,p(s)表示face上的softmax概率,y(s)表示face上的真实值。H为交叉熵。则(3)式是指交叉熵损失函数即:所有像素的图像的预期损失

    (a)符号说明

    (b)常规训练以像素为方向,独立进行,并密集地强制每个像素适合标签(没有对象平滑度的概念)

    (c)这导致了在测试时对看不见的物体的稀疏预测

    (d)图像的像素级标签

    (e)我们在一个blob E[p]中强制对标签进行预期预测,但保证每个像素与平均值没有偏差;

    (f)该网络是更好的正则化分割与较少的稀疏预测

    We defifine the expected prob-ability E[p] on a blob c as:

     p^c表示在斑点c处所有像素的平均条件概率

    p(s)表示整个图像上所有像素的预测概率

     

     DKL表示相对熵(KL散度):

    如果对于同一个随机变量X有两个单独的概率分布P(x)和Q(x),则我们可以使用KL散度来衡量这两个概率分布之间的差异

    where α, β are two constant parameters controlling the trade-off between matching the labels and ensuring consensus and DKL denotes the Kullback-Leibler divergence.
    Following the notation of Section 3.1, and putting this all together, indicating all the the blobs (background B, face F, occlusions O) as C, our method fifinally optimizes:
  • 相关阅读:
    scrapy--Cookies
    python--signal
    python--redis
    TCP/IP 协议
    python--Wrapper
    python--inspect
    python--pexpect
    linux 特殊命令(一)
    day45 Pyhton 数据库Mysql 02
    day44 Pyhton 数据库Mysql
  • 原文地址:https://www.cnblogs.com/spore/p/13308192.html
Copyright © 2020-2023  润新知