输入有两张图，引导图I和输入的图p，输出的图为q。
在我们的matting的例子里面，引导图是原图或者是原图的灰度图，输入p为粗粗的分割后的结果， 输出q是具有精细边缘的matting图。
I和输出q之间需要满足一个关系，在任意一个半径为r的窗口内，满足q和I之间是线性的，ak和bk在窗口wk内是常数。
这个设想是合理的，在边界的地方，是想要服从这个的。但是在背景和前景区域，实际上并不想要符合这个，可以看鸭子的脖子和身体之间蓝黄色的交界处，实际上并不想要这个梯度的，所以需要引入下一个约束
要让q和p之间的对应像素间差值尽可能的小，这样在大块的前景和背景区域，就都还是原来的值了。在这种窗口wk内如果输入p都是背景(p=0)的话，那么直接ak=0,bk=0,就可以得到q=0，整个窗口q还是背景。如果p=255，那么ak=0,bk = 255，整个窗口q是前景255。
这都比较好理解，那么在窗口既有背景又有前景的时候（就是边界），就需要保留I中的像素梯度关系了，这样就需要去求这个窗口wk中的ak和bk，求解也比较简单，就是在这个半径为r的窗口寻找一个ak和一个bk满足以下方程最小，ƹ是正则项。
线性回归，得到
这样就可以求到ak,然后每一个点在实际算的时候，被很多个窗口包围，每个窗口都可以算出一个a和b来，如下图qi这个点被3个窗口包含，实际上比这个还要多。
所以在算的时候会把所有点在这里的a和b去求一个平均，求了平均值后语义就跟之前有一些不一样了，q和I就不是成线性的关系了，但是因为a和b都是平均后的值，梯度非常小，所以在I上有大梯度的时候，仍然可以看做I的梯度和q的梯度是线性的，如下图，后面两项可以忽略不计。
整个算法的流程如下
可以看到，主要是一个boxfilter，即半径为r的窗口内求所有像素的平均
采用积分图，让这个运算的复杂度和r的大小无关，那么这个是算法就是O(N)的，N是图像的像素数，只与分辨率有关。
为了加速这个引导滤波，作者提出来可以在小分辨率上计算a和b然后upscale到大分辨率再和I取计算q。这种方法可能会损失一部分非常小的细节，大部分的是可以保留的。
------------------------------------------------------------------------------------------------------------------
Guided filter现在有一个trainable的版本，意思是可以和前面的cnn网络一起训练，不仅仅是一个后处理的模块，这样end-to-end的训练会让结果更好。论文主要是论证了guided Filter的反向传播是可微的。
论文在这里 https://arxiv.org/pdf/1803.05619v1.pdf
具体推导是这样的
这个是guided filter的流程图
有三个输入，Il是小分辨率的RGB图像，Ol是经过网络后初步的mask，也是小分辨率的。根据Il和Ol去计算出小分辨率上面的ak和bk然后upscale，再对输入的大分辨率的Ih去做计算，得到大分辨率的Oh,这里需要注意的是，Il对应的是I,Ol对应的是p，Ih对应的是I，Oh对应的是q。所以Ol和Oh长的像但是不是一个意思。
仿照guided filter的求解过程，计算Al和Bl。这里先暂时忽略F(I)， 这个是作者自己提出来的做guided map的几层卷积，可忽略。那么有以下的推导过程
简单的，如果去计算
反向传播的时候，需要计算
然后就可以一步一步推导下去，直到推导出
具体过程如下图所示，其中的
可以看到确实是可反向求导的。
这篇文章有source code可以看看具体是怎么用pytorch code实现guided fitler的
def forward(self, lr_x, lr_y, hr_x): n_lrx, c_lrx, h_lrx, w_lrx = lr_x.size() n_lry, c_lry, h_lry, w_lry = lr_y.size() n_hrx, c_hrx, h_hrx, w_hrx = hr_x.size() assert n_lrx == n_lry and n_lry == n_hrx assert c_lrx == c_hrx and (c_lrx == 1 or c_lrx == c_lry) assert h_lrx == h_lry and w_lrx == w_lry assert h_lrx > 2*self.r+1 and w_lrx > 2*self.r+1 ## N N = self.boxfilter(Variable(lr_x.data.new().resize_((1, 1, h_lrx, w_lrx)).fill_(1.0))) ## mean_x mean_x = self.boxfilter(lr_x) / N ## mean_y mean_y = self.boxfilter(lr_y) / N ## cov_xy cov_xy = self.boxfilter(lr_x * lr_y) / N - mean_x * mean_y ## var_x var_x = self.boxfilter(lr_x * lr_x) / N - mean_x * mean_x ## A A = cov_xy / (var_x + self.eps) ## b b = mean_y - A * mean_x ## mean_A; mean_b mean_A = F.interpolate(A, (h_hrx, w_hrx), mode='bilinear', align_corners=True) mean_b = F.interpolate(b, (h_hrx, w_hrx), mode='bilinear', align_corners=True) return mean_A*hr_x+mean_b
看起来也还是可以的。
文章后面又提出了conv guided filter，用卷积去做的几层， 其中dilated conv的rate就是radius，感觉可解释性下降了。下面是conv guided filter的具体思想。
