• DPGN: Distribution Propagation Graph Network for Few-shot Learning


    论文:《DPGN: Distribution Propagation Graph Network for Few-shot Learning》,CVPR2020

    代码:https://github.com/megvii-research/DPGN

    一、概述

    在给定少量标注数据(support集)的情况下,Few-shot learning旨在对未标注数据(query 集)进行预测。

    有很多方法可以用于Few-shot learning任务,比如:

    • 微调(Fine-tuning)方法,但容易过拟合
    • 元学习(Meta-Learning)方法,但通常隐式利用样本全局关系
    • 图网络(Graph Networks)方法,但只考虑了样本对关系,忽略了重要的分布关系

    如上图所示,该论文提出了DPGN(Distribution Propagation Graph Network)模型,通过未标注数据和已标注数据之间的相似度分布,引导标签信息在图中更好地传播。该模型包含点图(Point Graph, PG)和分布图(Distribution Graph, DP)两个完全图,分别用于建模每个样本的实例级别表示和分布级别表示。具体的含义可以看方法部分。

    总的来说,论文的创新点有三点:

    1. DPGN是第一个显式利用分布进行标签传播的图网络Few-shot learning方法。
    2. 提出了双完全图架构,结合了实例级别和分布级别的关系。
    3. 在四个Few-shot learning数据集上进行了实验,在分类任务上提升了5%12%的性能,并在半监督任务中提升了7%13%的性能。

    二、方法

    首先介绍Few-shot learning的问题定义,然后详细介绍DPGN模型的细节。

    1 问题定义

    每个Few-shot learning任务都有一个support集(mathcal{S})和一个query集(mathcal{Q}),二者都属于训练集(mathbb{D}^{train})(mathcal{S}={(x_1,y_1),dots,(x_{N imes K},y_{N imes K})})含有(N)个类别,每个类别有(K)个样本(也就是(N)-way (K)-shot),(mathcal{Q}={(x_{N imes K + 1},y_{N imes K + 1}) dots, (x_{N imes K + ar{T}},y_{N imes K + ar{T}})})含有(ar{T})个样本。在训练阶段,support集和query集的标签都是已知的。在测试阶段,模型需要根据测试集中的support集预测测试集中query集的标签。

    2 DPGN

    上图展示了DPGN模型的主要过程,该模型包含(l)层,每层包含一个点图(PG) (G_l^p=(V_l^p, E_l^p))和一个分布图(DG) (G_l^d=(V_l^d, E_l^d))。每一层的表示计算顺序基本构成一个环,即(E_l^p ightarrow V_l^d ightarrow E_l^d ightarrow V_l^p ightarrow E_{l+1}^p)

    为了进一步说明,节点集合(V_l^p, V_l^d)分别表示为(V_l^p={v_{l,i}^p})(V_l^d={v_{l,i}^d}),边集合(E_l^p, E_l^d)分别表示为(E_l^p={e_{l,ij}^p})(E_l^d={e_{l,ij}^d}),其中(i,j=1,cdots,T)(T=N imes K + ar{T})

    (v_{0,i}^p)被初始化为特征提取器的输出:

    [v_{0,i}^p = f_{emb}(x_i) in mathbb{R}^m ]

    2.1 点到分布聚合

    2.1.1 点相似度

    PG中的每条边都表示实例(点)之间的相似度,也就是样本之间的相似度。

    (l=0)时,PG的边定义为:

    [e_{0,ij}^p=f_{e_0^p}((v_{0,i}^p - v_{0,j}^p)^2) in mathbb{R} ]

    其中(f_{e_0^p}:mathbb{R}^m ightarrow mathbb{R})用于将向量映射为标量,论文使用两个Conv-BN-ReLU块实现。

    (l gt 0)时,PG的边更新规则如下:

    [e_{l,ij}^p=f_{e_l^p}((v_{l-1,i}^p - v_{l-1,j}^p)^2) cdot e_{l-1,ij}^p in mathbb{R} ]

    在实际应用中还要对(e_{l,ij}^p)进行归一化。

    2.1.2 P2D聚合

    生成了PG中的边后,下一步就是生成DG中的节点表示。方法如上图所示,DG中每个节点都是维度为(N imes K)的特征向量,其中第(j)维表示该实例(x_i)与实例(x_j)的关系,(N imes K)就是support集大小。

    (l=0)时,DP的节点定义为:

    [v_{0,i}^d = egin{cases} ||_{j=1}^{NK} delta(y_i, y_j) quad ext{if} x_i ext{is labeled} \ [frac{1}{NK},cdots, frac{1}{NK}] quad ext{otherwise} end{cases} in mathbb{R}^{NK} ]

    其中(||)表示连接操作,(delta)输出0或1表示标签(y_i)(y_j)是否相等。

    (l gt 0)时,DG的节点更新规则如下:

    [v_{0,i}^d = P2D(||_{j=1}^{NK} e_{l,ij}^p, v_{l-1,i}^p) ]

    其中,(P2D: (mathbb{R}^{NK}, mathbb{R}^{NK}) ightarrow mathbb{R}^{NK})是聚合网络,论文使用全连接层加ReLU层实现。

    2.2 分布到点聚合

    2.2.1 分布相似度

    DG中每条边表示实例分布特征的相似度,也就是样本在分布空间的相似度。

    (l=0)时,DG的边定义为:

    [e_{0,ij}^d = f_{e_0^d}((v_{0,i}^d - v_{0,j}^d)^2) in mathbb{R} ]

    其中,(f_{e_0^d}: mathbb{R}^{NK} ightarrow mathbb{R})用于将向量映射为标量,论文使用两个Conv-BN-ReLU块实现。

    (l gt 0)时,DG中边更新规则如下:

    [e_{l,ij}^d = f_{e_l^d}((v_{l,i}^d - v_{l,j}^d)^2) cdot e_{l-1,ij}^d in mathbb{R} ]

    同样需要对(e_{l,ij}^d)进行正则化。

    2.2.2 D2P聚合

    接下来就是利用DG中的边特征,也就是样本的分布相似度,生成PG中的节点特征:

    [v_{l,i}^p = D2P(sum_{j=1}^T(e_{l,ij}^p cdot v_{l-1,j}^p), v_{l-1,i}^p) in mathbb{R}^m ]

    其中,(D2P: (mathbb{R}^m, mathbb{R}^m) ightarrow mathbb{R}^m),论文使用两个Conv-BN-ReLU块实现。

    3 训练

    为了进行节点分类,只需要将最后一层的边特征输入softmax函数即可:

    [P(hat{y_i}|x_i) = ext{Softmax}(sum_{j=1}^{NK}e_{l,ij}^p cdot one\_hot(y_j)) ]

    其中,(P(hat{y_i}|x_i))就是样本(x_i)的预测概率分布,(y_j)是support集中第(j)个样本的标签,(e_{l,ij}^p)表示DPGN最后一层PG中的边特征。

    3.1 点损失

    点损失就是对节点进行分类的交叉熵损失:

    [mathcal{L}_l^p = mathcal{L}_{CE}(P(hat{y_i}|x_i),y_i) ]

    其中,(mathcal{L}_{CE})是交叉熵函数,(y_i)(x_i)的标签。

    3.2 分布损失

    分布损失实际上是在DG层面做节点分类:

    [mathcal{L}_l^d = mathcal{L}_{CE}( ext{Softmax}(sum_{j=1}^{NK}e_{l,ij}^d cdot one\_hot(y_j)),y_i) ]

    模型最终的损失函数由每一层的两部分损失得到:

    [mathcal{L} = sum_{l=1}^{hat{l}}(lambda_p mathcal{L}_l^p + lambda_d mathcal{L}_l^d) ]

    其中(hat{l})表示DPGN总的层数,(lambda_p,lambda_d)是权重参数。

    三、实验

    论文使用了四个Few-shot learning数据集

    下面展示一个数据集的实验结果,其他数据集结果可以参照原论文

  • 相关阅读:
    idea 搭建spring boot
    面向对象
    idea 转普通项目为maven 项目
    java 基础
    设计模式
    GeneratedKeyHolder的作用:获得新建主键值
    Oracle中Merge into的用法实例讲解
    深入理解Java线程池:ThreadPoolExecutor
    java Timer(定时调用、实现固定时间执行)
    js实现数组去重
  • 原文地址:https://www.cnblogs.com/weilonghu/p/12638808.html
Copyright © 2020-2023  润新知