• 《Eye In-Painting with Exemplar Generative Adversarial Networks》论文阅读笔记


    Abstract

    基于conditional GAN使用隐藏在reference image中的exemplar information生成high-quality,personalized in-painting results:ExGANs,实验样例为睁眼闭眼。同时提出一个新的benchmard dataset

    总体思路

    • reference-based in-painting

    利用一组成对训练集$X_i$和$r_i$来进行GAN的对抗训练,其中$r_i$是作为X的inference image,如同一角色的不同姿态,表情的图片(r也可以是一组图片)。$Z_i$作为需要inpainting的残缺图片,目标函数定义为:

    从形式上来说,和CGAN较为一致,最后加上了一项生成的补全图片和原图片的pixel loss项。

    • code-based in-painting

    生成一个perceptual code,该code中蕴含了相应的待补全的信息,在本例中为目标的眼睛信息。C是压缩映射函数,大幅降低参考图片$r_i$的信息数量至$C_i$(The compressing function can be a deterministic func-tion, an auto-encoder, or a general deep network that projects an example onto some manifold)

    网络pipeline图示:

    作者自己从网上爬了2 million 2D-aligned images of around 200K individuals组成训练集,同一人物至少对应3张不同的图片

  • 相关阅读:
    成为JAVA(高级)工程师
    JVM的内存区域划分以及垃圾回收机制
    XML
    String.valueOf
    JAVA书籍(2)
    JAVA书籍(1)
    深入JAVA线程池
    FileWriter与BufferedWriter
    获取下拉框的文本或值
    删除字符串最后一个字符的几种方法
  • 原文地址:https://www.cnblogs.com/punkcure/p/8434954.html
Copyright © 2020-2023  润新知