用 Google 的 FaceNet 做人脸识别极客帮课程笔记

前几天在极客帮学了一个课程, 应班主任的要求, 做一个笔记;

课程的主要内容是Google开源的机器学习平台 TensorFlow 和人脸识别模型 FaceNet, 这里重点介绍一下人脸识别;

1. 环境搭建:

课程的代码运行在 TensorFlow 1.12 版本上的, 下面是 TensorFlow 1.12 版本的环境安装步骤(Win10);

安装 python3.6.8;

安装 cmake;

安装 visual studio c++ 社区版;

安装 pipx:

python -m pip install --user pipx
python -m pipx ensurepath
pipx completions

用 virtualenv 建立一个隔离的 python 环境, 我们把这个隔离的环境放到 tf 目录下:

pipx install virtualenv
python -m venv tf
virtualenv --system-site-packages -p python3.6 ./tf

进入我们的隔离环境 tf;

    .\tf\Scripts\activate

安装 TensorFlow:

    pip3 install tensorflow==1.12

安装 python 代码编辑器 jupyter:

    pip3 install jupyter

安装绘图库, keras, opencv 等等:

    pip3 install tensorflow==1.12 
    pip3 install jupyter
    pip3 install matplotlib
    pip3 install pandas
    pip3 install seaborn
    pip3 install numpy
    pip3 install keras==2.1.3
    pip3 install h5py==2.10.0
    pip3 install opencv-python
    pip3 install face_recognition
    pip install sklearn
    pip install dlib==18.17.100

给 jupyter 安装kernel:

jupyter kernelspec list
python -m ipykernel install --user --name=tf

运行 jupyter notebook, 就可以打开python 编辑环境了;

2. FaceNet人脸识别:

课程里使用 OpenFace 做人脸特征向量提取, OpenFace 是基于2015年 Google 的关于 FaceNet 的论文实现的, 基于深度神经网络;

使用预先训练好的模型, 大概是三百多万张人脸训练出来的模型;

大体逻辑是这样的:

OpenCV读取图片 -> AlignDlib 提取人像 -> 截取人脸 -> 用 OpenFace 提取人脸特征向量 -> 用近邻分类(KNN)将测试的人脸分成不同的人;

我们用杨幂和范冰冰的图片示例一下:

看看代码的运行效果:

用OpenCV 加载一张图片:

截取出人脸:

打印出原图, AlignDlib检测的人脸坐标, 和截取后的图像:

 

 用神经网络获取人脸特征向量, 模型是 OpenFace 训练好的模型, 模型比较复杂, 里面封装了卷积, 池化, 等等的操作; 

人脸特征向量保存在 embedded 数组, 每个人脸都被嵌入成了超球面空间上的一个点, 翻译成白话就是128维空间上的一个点;

为什么是128维 --- Google 测试了64维, 128维, 256维... 最终得出结论是 128维空间上准确率最好;

128维空间上的两点之间的距离就是欧式距离, 如果有x1坐标到x128坐标, 欧式距离是两点距离x1差值的平方加上x2差值的平方加上x3差值的平方, 一直累加到x128差值的平方, 然后求和, 再求一个开根号;

我们看看128维空间上两张图片的欧式距离;

可以看到, 同一个人的不同照片, 他们在128维空间上的欧式距离很短, 这是因为模型使用 Google 的 Triplet Loss 损失函数训练出来的, 看一下这个损失函数:

大体意思是, 一组数据集, 取一个锚点, 对同一个人, 两张图片在128维空间上的欧式距离最远, 对不同的人, 两张图片在128维空间上欧式距离最近 , 加上阈值, 得到损失值, 将损失值反馈到神经网络, 由神经网络来调整权重;

128维欧式空间距离很短两个点, 小于阈值, 我们认为就是同一个人;

对得到的128维的人脸特征向量, 我们可以用 KNeighborsClassifier 来分类, 度量指标是欧几里得距离, 就是欧式距离;

KNeighborsClassifier (邻近算法) 的大体意思就是近邻分类, 距离比较近的一组点分到一个类别中;

我们找一个测试图片看看效果:

对于128维空间上的点, 我们无法观测, 我们可以借助一些降维工具来辅助, 列如 TSNE;

我们用 TSNE 把杨幂和范冰冰128维空间上的点降维到3维空间看看(杨幂和范冰冰分别有10张图片, 在128维空间上分别有10个点):

三维空间观测起来有点费力气, 我们再降到2维空间试试:

可以看到, 这些点的分布并不是很理想; 原因是和 OpenFace 的训练集有关系, 感兴趣的小伙伴可以自己研究;

后记:

FaceNet 提取出来的人脸特征向量是128维的向量, 除了分类, 还可以做相似搜索之类的东西, 比如利用一些向量数据库做检索, 可以判断哪些人长得像;

完