论文笔记 [6] 图像幻构中的 Feature Enhancement

论文笔记 [6] Image Hallucination with Feature Enhancement

Image hallucination（图像幻构） 就是 SR问题，实际上就是通过低分辨率的 LR feature 来推理 HR feature。

图像幻构有两个基础性的问题：

1. How many examples are sufficient for generic images？
2. How accurate can the LR-HR feature mapping be?

第一个问题是讲如何充分得到以及利用生成图像，第二个是讲如何做到LR-HR的feature的匹配或者说映射。下图展示了实际的幻构和 anchor hallucination 的区别：

所谓anchor hallucination指的是用真实的丢失的HR feature来重构，而这种HR feature实际上通过nearest neighbor（NN）是找不到的。说明了在实际的practical hallucination中，最好的candidate in the database还未被找到。下面这个栗子表明，通过NN匹配LR的feature可能找错HR feature，因此需要加强LR和HR的联系。有文章用three-tiered network来解决这个问题，先用enhanced LR feature 做LR-HR，然后在做HR-HR。但是本文作者认为这个enhance不靠谱，因为没有考虑到特征信息是怎么丢掉的。

所以本文分析了feature information loss。因为两个degradation步骤：blurring和decimation。如下图：

本文的enhance是分析了blurring导致的频率截断和decimation导致的aliasing的基础上，进行prefiltering和deblurring。可以减少LR和HR feature的disparity，即差距。

Feature enhancement

information loss

blurring 要咸鱼decimation，目的是先行将一定的高频滤出，使得decimation的时候减少aliasing。

由于图像特征和image derivative相关，因此可以用一个局部的anisotropic Gaussian distribution或者几个这样的分布的线性组合来表征，HR图像的特征被表征成为：

两个sigma标准差，a和b分别代表着sharpness和density of intensity transition along two axes。然后blurred图像可以写成：

decimation 之后的结果：

做SR之前，需要将小图LR插值到原图尺寸，插值以后的结果：

然后作者计算了损失的能量，发现当 blurring scale 和 decimation factor 变大之后，LR feature 就已经不包含什么信息了，因此用来做 feature mapping 会不准，因此需要做提升。

deblurring with sparse prior

对于blurring和decimation引起的information loss，两者是一方增加另一方减少的，因此先考虑loss主要来自于blurring的情况。可以写成：

利用 sparse derivative prior， deblurring problem可以写成：

quadrature prefiltering for antialiasing

为了减少混叠，我们在插值的时候加上一个prefiltering。To reduce aliasing, we integrate prefiltering with interpolation.实际上可以看成在某个频率clip一下， 从而减少交叠。

feature information transfer

如下图所示，a和b分别是没有enhance和enhanced的图像特征。c的上下分别表示原始图像和用Richardson-Lucy deblurring的结果，d的上下分别是只用积分预滤波，以及用了积分预滤波和sparse prior deblurring的结果。e和f表示a和b对应的real missing HR features。

Framework

带有特征增强的图像幻构技术的框架如下：

其中的mapping部分如下，由于有了enhancement，所以可以更好的完成匹配。

是否做enhancement对于匹配的影响可以用ROC曲线表示，其中match error也就是横坐标定义为实际的HR feature 与找到的HR feature之间的MSE error，而hit rate表示，在确定某个match error后，在所有的patch中所有的的match error小鱼这个数的比率，因此该曲线越偏左，表明数据越偏向于小误差，结果越好。（貌似就是统计里的cdf函数？cumulative distribution function）。

放张结果图：

reference:

Xiong, Zhiwei, Xiaoyan Sun和F. Wu. 《Image hallucination with feature enhancement》. 收入 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2074–81, 2009. https://doi.org/10.1109/CVPR.2009.5206630.

2018/01/24 22:12 pm