• paper169:2020CVPR文章解读:nestedVAE:Isolating common facters via weak supervision


    初稿理解~~

    要点总结:

    1、基础思想

        1)现存深度模型对数据的敏感度、稳定性或者鲁棒性要求大,且不具备明确的可解释性。

        2)本文考虑的关键内容是实现模型减小对数据的敏感度,从而抓住数据的重要特征。

        3)本文对同一类别不同类型的数据进行采集,利用变分式自编码器原理中潜在的变量所处的空间进行获取分析,即:nestedVAE(巢状自编码器)通过对来自不同角度,不同domain的数据,得到共同潜在的变量。这个潜在变量是来自自编码器本身,从而降低模型对数据的敏感度,从而提升模型对来自不同角度数据的识别准确性。

        4)变分:统计相关的概率分布,自编码器:通过编码器对数据降维,通过解码器进行升维,是表示学习的一部分。对一个数据,如何去描述他,理论思想认为数据是存在于流行空间的,流行就是指数据在低维和高维之间存在变换的,可增可降。由于低维和高维之间不是一一确认的,所以就需要潜在的变量进行限制。由于是概率分布,不需要准确知道这个潜在的变量的值是多少。变分式自编码器就在于如何引入这种不确定性,同时又能引入这种约束,能够生成低维到高维更加灵活的投影数据。例如:图像的低分辨率到高分辨率,视频的插帧补帧等都属于生成模型,或者变分式自编码器这样的表述。

     2、动机(motivation)

         1)同一类别不同角度的数据,受采集或其他的影响,会有一种外在的不同表征。本文提出了nestedVAE(巢状变分式自编码器)来找到共同的潜在的变量,使用了变分中的KL散度,信息瓶颈理论(两年前文章,试图从信息熵的角度来解释)等来捕获潜在变量的空间,从而确定了该命题和定义。

         2)从文章看出,一个模型不需要对一种任务或者一种采集数据去训练一种专用模型,可以具备更好的泛化性。(方法)

    3、Comments

         1)本文的初衷是非常好的,在一定程度上也缓和神经网络模型对数据的敏感性的限制,但是

    ,也考虑到本文的变分式自编码器,其中latent是可以因子化的,参数化进行表征,例如正态分布或者高斯分布,这种潜在变量进行分布化。我们认为潜在特征都是独立的,而这种假设就牺牲了这种独立性。

        2)性能上,一定程度克服数据敏感度的。但是理论框架上还需要重新讨论。

         3)基于变分式自编码器的限制还是比较大的,我们希望可以把这种不是变分式自编码器的模型中去,

  • 相关阅读:
    TEXT 6 Travelling with baggage
    TEXT 4 A question of standards
    TEXT 3 Food firms and fat-fighters
    linux——DNS服务器配置
    NISP视频知识点总结
    词根生词要打印加上汉译
    琐碎的总结 css jQuery js 等等。。。
    css 描述css reset的作用和用途。
    css--block formatting context
    《javascript高级程序设计》 第25章 新兴的API
  • 原文地址:https://www.cnblogs.com/molakejin/p/13377700.html
Copyright © 2020-2023  润新知