SR领域的经典论文,2015年发表。将CNN引入SR任务中,可以处理彩色图像。
由于SR问题属于不适定性问题,一种解决方法是通过引入先验知识限制解空间。
SR算法根据先验知识不同可分为prediction models, edge based method, image statistical methods和patch based(example based)methods四种。其中example-based表现最好。
example-based方法可进一步划分维internal example和external example。internal就是指从输入图像中生成examplar patches,利用的是自相似性质。external是指通过外部数据集学习LR-HR patches之间的映射,研究如何汇集和关联这些LR-HR patches对,如何进行表示。
本文中的方法:
对于一个LR图像,首先使用bicubic 插值upscale到所需的尺寸得到图片Y,然后学习一个映射F,使得F(Y)尽可能和ground-truth接近。学习的过程包含三步:
- Patch extraction and representation,从Y中提取patches并表示为高维向量
- Non-linear mapping,将高维向量映射到另一高维向量
- reconstruction,整合上述的high-resolution patch-wise representations
这三个步骤都可以分别用一层卷积层进行。同时将之前比较常用的sparse-coding-based方法也视为CNN的一种形式,用于指导CNN网络的设计。按照sparse-coding-based method,最后一层filter大小应小于第一层filter,这样可以更好地依赖high-resolution patches的中心部分;第二层的filter个数小于第一层,因为希望更稀疏。
使用了MSE(仅在X-i的中心像素中进行),所有层的卷积都不使用padding
文中实验结论:
- 增大网络宽度(增加filter数)可以提升表现,但会减慢速度
- 增大filter尺寸。增大1,3层的尺寸可以获取更丰富的结构信息,效果虽有改善但比较小;增大2层尺寸可以利用neighborhood信息,效果比较好。同样会减慢速度
- 增加层数不是很有效,有时反而会降低表现。
- 对于彩色图像,使用YCrCb训练效果不好,在Y上预训练效果最好。在RGB上同时训练效果最好。
评价标准:PSNR, SSIM, IFC, NQM, WPSNR, MSSSIM
用于比较的模型:A+, KK, ANR , NE+LLE, SC, Bicubic
测试集:Set5, Set14, BSD200