QATM: Quality-Aware Template Matching For Deep Learning
2020-04-27 11:50:16
Paper: https://arxiv.org/pdf/1903.07254.pdf
Code: https://github.com/kamata1729/QATM_pytorch
1. Background and Motivation:
现有的模板匹配方法存在的问题是：当计算相似性的时候，template 和 candidate windows 内部的所有像素点都会被计算进去。但是这种计算方式，在很多情况下是不合适的，例如：when the background behind the object of interest changes between the template and the target image. 为了克服这个困难，BBS 的方法依赖于最近邻匹配来解决这个问题，所以其可以排除大部分的背景像素点以进行匹配。基于 BBS，又有 DDIS 的方法利用额外的形变信息，来改善匹配的性能。跟前人的工作不同，作者这里考虑到了 5 种不同的模板匹配场景，如表格 1 所示。
S 中的 最优的匹配区域 可以通过最大化总体匹配得分来找到。所以，作者提出优化如下得质量评估函数：
这样的话，S 中的区域 R 可以最大化匹配得分，就可以优化匹配区域了。R 是一个固定大小的候选窗口。
2. The Proposed Method：
为了使得 公式 1 的模型适合 模板匹配，我们需要定义 Quality(s, t)，即：如何评估匹配 s 和 t 的质量。
假设 fs 和 ft 是 patch s 和 t 的特征表示。ρ 是两者之间相似度的度量方法，即: cosine similarity。给定一个搜索图像块 s，我们定义一个似然函数：
其中，alpha 是正的数。该似然函数可以看做是根据匹配质量，将当前 patch t 和所有 template image 之间的 patches 进行对比的 soft-ranking。也可以看做是一种 heated-up softmax embedding，其中 softmax activation layer 带有一个可学习的温度参数。
按照这种方式，我们可以定义 QATM measure 为：
任何合理的相似性度量 ρ 都可以用。一旦得到了 pairwise QATM results，一个 ROI s 的匹配得分就可以按照公式 4 进行计算：
其中 q(*) 表示匹配质量函数。最终，我们可以找到一个最优的匹配区域 R*，可以最大化总的匹配质量：
