论文地址:FHDe2Net:Full High Definition Demoireing Network
目标:去除摩尔纹。摩尔纹是由显示器和摄像机之间的频率混叠引起的,作者提到现存的方法是将整个图像直接作为输入进行全局处理,这样做在分辨率有限的图像是有效果的。到那时在高分辨率的图像上有一些问题:
1. 高分辨率使得条纹所涵盖的像素更多。
2. 由于在修改空间域的像素时,忽略了高频子带中的周期图案和边缘之间的不同,可能会出现过度平滑等细节丢失现象。
3. 现有的剪裁技术有限,可能会对去摩尔纹的效果有影响。
针对这些问题,作者提出了FHDe2Net:
1. 首次探索了高分辨率图像演示的新问题,并提出了一种从全局到局部的莫尔条纹去除策略,以应对更宽的条纹尺度范围和FHD或更高分辨率图像中的演示残留问题。
2. 提出了一种基于频率的高分辨率内容分离机制,通过利用频域中的信号属性来补偿演示中的细节失真。
3. 为基准演示任务贡献了第一个高分辨率莫尔图像数据集,该数据集由FHD照相手机捕获的屏幕图像对组成。
下面是FHDe2Net的结构框架:
分为两个分支(Cascaded global to local moir´e pattern removal 、Frequency based high-resolution content separation)、四个子网络(GDN、LRN、FDN、FRN)。
第一个分支:分别从全局和局部去除摩尔纹。
GND :Globally Demoire Net 是负责全局的消除摩尔纹,针对细小的一些GDN没有消除的摩尔纹,作者用LRN来去除,GDN在网络瓶颈使用了non-lacal blocks;而在LRN中,使用了基于掩码的选择算法,加速了局部残差的收敛。
第二个分支:从频域的角度来保留细节信息。