Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution
解决问题:
- 1.bicubic预处理上下采样,计算复杂度高。(LapSRN只使用了对SR下采样特点是训练过程中再通过反卷积上采样恢复到原尺寸)
- 2.简单的模型,不能很好的学会复杂的映射。 并且L2损失函数不能捕捉HR patches底层多模态分布(重建的HR images对人类视觉感知效果不好)
- 3.大部分方法重建HR images时使用了上采样步骤,这会增加训练难度尤其是fator越大时,并且对于以前的方法只训练了特定fator的模型(LapSRN使用了金字塔结构的模型,对于大的fator由fator为2渐进训练,需要特定就fator就截断输出)
模型结构
模型大致结构:LR作为输入渐进地以一种粗糙到良好的方式预测sub-band residuals。每个level用卷积提取特征然后使用反卷积上采样到finer level然后预测sub-band residuals(上采样图片与groud truth间的差异)训练模型使用charbonnier损失函数
LapSRN使用串联金字塔预测不同fator的residuals,因此其 8fator的模型依旧可以表现2 或 4 fator SR,通过bypassing(绕路)
输入:由SR下采样 为HR直接输入
特征提取:每个level(金字塔层)都有d个卷积层和一个反卷积层,反卷积层的输出分别连接到当个level重建residuals和下一个level继续提取特征训练。
图像重建:每个level的输入image都使用scale为2的反卷积进行上采样再与predicted residuals整合为HR image,该HR image,又被喂入下一个level,需要特定的scale时只需在特定的level处截断模型
损失函数:使用Charbonnier penalty function
训练细节:每个卷积层在卷积前都进行了padding保持了与输入一致,filters为64个 size为 3 x 3,反卷积的filter为3 x 3,作者在训练前进行了data argumation,实验中也对比了 data argumation的影响