文献阅读003【精读】

论文：2005 CVPR a nonlinear approach for face sketch synthesis and recognition

网盘链接密码：10s5

摘要

本论文采用基于画像实现人脸识别系统，包括两大元素：画像合成+画像识别。
画像合成的方法：local linear preserving of geometry between photo and sketch images.
原理：locall linear embedding (LLE)
画像识别的方法：nonlinear discriminate analysis
实验：600 photo-sketch pairs

1. INTRODUCTION

画像识别可用于：在没有 probe face photo 的情况，我们用画家画出来的画像(drawn sketch)在 photo database 中搜索。
在直觉上，我们习惯将drwan sketch转换成photo，然后再从photo database中搜索。但这是一个病态问题(ill-pose problem),因为drawn sketch一般只有脸部的主要特征，忽略了许多细节。
因此，本文提出一种方法：将摄像头拍到的photo转换成pseudo-sketch，与[2002 ICIP Face photo recognition using sketch]一样，只是本论文是用非线性的转换方法。

2. Pseudo-sketch Synthesis

基于LLE的原理，本文将脸部分成许多patches（之间有部分重叠），对一个新图片的每个patch，从训练集中找出最近的K个patches。
如：脸部的嘴为一个patch，从训练集中的每张图找出和它最近的k个嘴的patches。
算法如下：

for i in range(N): // N = patches.sum()
	1. p_k_neighbors[i] = KNN(I_p[i], training_photos) // k dimension
	2. weights_k_p = minimize_error(I_p[i], k_neightbor[i])
	3. I_s[i] = weights_k_p * s_k_neighbors[i] //s_k_neighbors[i] corresponding to p_k_neighbors[i]

公式推导：参考LLE的推导 ==> LLE原理总结

parameters

1. the number of neighbors** K**
2. the patch size
3. the degree of overlapping

3. Sketch Recognition

采用KNDA(kernel-based nonlinear discriminant analysis)的方法，核函数为 polynomial kernel function，k(x_1,x_2) = (a(x_1·x_2)+b)^dk(x1​,x2​)=(a(x1​⋅x2​)+b)d。

本文将probe sketch 和 pseudo-sketch 投射到 KNDA 创建出的subspace，计算两者的距离：d=||y^r-y^p||d=∣∣yr−yp∣∣
y^r and y^p are the projections of the probe sketch and pseudo-sketch