目前的SR任务都是将真实图像进行下采样得到成对数据集进行训练,这样的训练会造成与真实情况存在domain gap。因此本文针对这个问题提出了用不成对的数据进行一种伪监督训练。感觉本质上就是通过CycleGAN学到HR图像y到LR图像x的映射,但此时得到y对应的LR图像与实际的x不是一样的,因此称为是“伪(pseudo)”的。用这样生成的伪数据对训练SR网络。
目前用GAN来进行不成对SR的方法有两种类型:Direct的方法直接用学习从LR到HR的映射,这种方法的缺点是非常重要的pixel-wise loss没办法使用;Undirect方法学习从HR到LR的一个映射,之后用生成的LR图像训练SR网络,这种方法的缺点是生成的LR分布和真实分布之间会造成train-test discrepency。
在这篇文章里,用一个CycleGAN学习HR对应的LR图像,并和真实的LR图像一起训练SR网络。并且引入了针对$U_{Ydownarrow Y}circ G_{XYdownarrow}(x)}$的discriminator,使上采样模块可以尽量接近真实图像的上采样结果。
个人感觉这个方法的一个问题是模型结构,loss都太复杂了....