[CVPR 2015] Simultaneous Feature Learning and Hash Coding with Deep Neural Networks [paper]
Hanjiang Lai, Yan Pan, Ye Liu, Shuicheng Yan.
1. Overcome
- 在大多数哈希方法中，图像都用手工特征表示，这些特征不能很好得保存原始图片的语义信息。
- 哈希方法大都分为编码和量化两个过程，基于手工向量的优化结果可能难以同时兼容编码和量化的过程，从而造成子优化问题。
- CNNH是一个two-stage的深度哈希方法，利用神经网络同时学习了哈希函数和图像特征表达。在stage 1时，CNNH得到了近似哈希编码，并在stage 2利用这些近似哈希编码来训练得到图像的特征表达，但是这些训练得到的图像特征无法反过来指导近似哈希编码的训练，以得到更好的编码。
2. Contribute
- 提出了一种 “one-stage”的监督哈希检索方法，可以同时得到图像特征和哈希编码，并且特征信息和哈希编码可以相互改善，从而得到更好的结果。
- 设计了一种triplet ranking loss，可以很好得保存图像语义的相似信息。
3. Algorithm
NINH方法分为三个步骤：（1）通过一个卷积网络得到中间图像特征；（2）通过divide-and-encode模块得到每张图片的哈希编码；（3）得到图像对的triplet ranking loss，再经由反向传播更新网络。
3.1 Triplet Ranking Loss and Optimization
输入为图像对((I, I^-, I^+))，其中(I)为查询图像，(I^-)为与(I)不相似的图像，(I^+)为与(I)相似的图像。这种输入形式可以更好得表达相似信息“与(I^-)相比，图像(I)与(I^+)更相似”。Triplet ranking hinge loss定义为:
为了便于优化，加入松弛技巧——将Hamming norm替换为L2 norm。得到新的损失函数如下：
损失函数关于(F(I)、F(I^-)、F(I^+))的导数为：
因为损失函数的求导过程非常简单，因此可以容易结合进神经网络的反向传播过程中。
3.2 Shared Sub-Network with Stacked Convolution Layers
Shared Sub-Network使用相同的神经网络结构以及相同的参数得到triplet图像对中的每一张图像的特征表达。网络结构和参数如下表所示：
在该部分，一种替代的策略是对于图像(I)使用单独的网络结构和参数，而图像(I^-)和(I^+)使用相同的网络结构和参数。但是论文中的实验证明，对三个图像使用相同的网络结构和参数的表现会由于这种替代策略。
3.3 Divide-and-Encode Module
Divide-and-Encode（DAE）通过Shared Sub-Network得到每张图片的特征向量后，将这个向量切片成r个部分，每个部分再通过全连接层连接到一个节点，最后通过sigmoid函数转化为[0, 1]之内的值。通过上述步骤，便可以得到一张图片r比特的哈希编码。在这个过程中，因为每个哈希编码是由特征向量的子部分得到的，哈希编码之间的冗余性少，有利于图像的检索。
这个部分另一种策略简称为FC，将整个特征向量通过全连接层直接连接到r个节点，再借由sigmoid函数得到图片的哈希编码。显然这种策略下，每一位哈希编码都利用到了整个特征向量的信息，容易造成冗余。论文的实验也证明了DAE的表现会由于FC。
