Abstract
基于conditional GAN使用隐藏在reference image中的exemplar information生成high-quality,personalized in-painting results:ExGANs,实验样例为睁眼闭眼。同时提出一个新的benchmard dataset
总体思路
- reference-based in-painting
利用一组成对训练集$X_i$和$r_i$来进行GAN的对抗训练,其中$r_i$是作为X的inference image,如同一角色的不同姿态,表情的图片(r也可以是一组图片)。$Z_i$作为需要inpainting的残缺图片,目标函数定义为:
从形式上来说,和CGAN较为一致,最后加上了一项生成的补全图片和原图片的pixel loss项。
- code-based in-painting
生成一个perceptual code,该code中蕴含了相应的待补全的信息,在本例中为目标的眼睛信息。C是压缩映射函数,大幅降低参考图片$r_i$的信息数量至$C_i$(The compressing function can be a deterministic func-tion, an auto-encoder, or a general deep network that projects an example onto some manifold)
网络pipeline图示:
作者自己从网上爬了2 million 2D-aligned images of around 200K individuals组成训练集,同一人物至少对应3张不同的图片