创新点:
设计了两个SR模型,分别处理 上采样复杂度(upscaling difficulty) 不同的图像块,达到质量和速度的平衡
思路:
1. 如何衡量图像块的上采样复杂度:
total variation(TV) metric:
TV越大,重建越困难
Fig3: TV越大,PSNR越小, 重建质量越不好
Fig4: TV越大,不同模型重建的PSNR差值越小 => 对于TV较大的图像块,可以用较小的SR model在达到相似PSNR情况下提升速度
2. 选择参考SR模型 :
基于RCAN作改进
性能对比(性能蛮好的)
FEQE是2018 PIRM Challenge on perceptual SR on mobile 的冠军
3. 其他压缩模型变体:
训练以上所有模型
4. 测试所有模型的 运行时间 和 运行质量
根据Fig7和Fig8选择了 、、 (这三个模型位于Pareto fronts)
5. 三个模型两两组合(, ),测试运行质量和时间
TV小于 用 , 大于用
随着PSNR容忍度的升高,提出的方法在达到相似的PSNR下,速度提升
一些想法:
1. 对图像块分类只用TV?有没有其他的更全面的方法
2. 模型对(, )可否自动选择
退化估计(模糊、噪声、伪影、光照)-> 结构估计-> 给定PSNR容忍度下,运行速度最快的模型选择