人脸识别数据集精粹（上）
1. 人脸识别
人脸检测和关键点检测都是比较底层的任务，而人脸识别是更高层的任务，它就是要识别出检测出来的人脸是谁，完成身份比对等任务，也是人脸领域里被研究最多的任务。
1.1 人脸识别图片数据集
(1) FERET
数据库地址：http://www.nist.gov/itl/iad/ig/colorferet.cfm。
发布于1993年至1996年，由FERET项目创建，包含14051张多姿态，不同光照的灰度人脸图像，每幅图中均只有一个人脸，在早期的人脸识别领域应用非常广泛。
(2) Yale与YALE B
数据集地址：http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/Yale%20Face%20Database.htm。
Yale人脸数据库与YALE人脸数据库B分别发布于1997年和2001年，这是两个早期的灰度数据集。Yale人脸数据库由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图片，包含光照、表情和姿态的变化。
后面将其拓展到YALE人脸数据库B，包含了10个人的5760幅多姿态，多光照的图像。具体包括9个姿态、64种光照变化，在实验室严格控制的条件下进行。虽然每个人的图像很多，但是由于采集人数较少，该数据库的进一步应用受到了比较大的限制。
(3) LFW
数据集地址：http://vis-www.cs.umass.edu/lfw/index.html#download。
Labeled Faces in the Wild（LFW）发布于2007年，是为了研究非限制环境下的人脸识别问题而建立，这是比较早期而重要的测试人脸识别的数据集，所有的图像都必须要能够被经典的人脸检测算法VJ算法检测出来。
该数据集包含5749个人的13233张全世界知名人士的图像，其中有1680人有2张或2张以上人脸图片。它是在自然环境下拍摄的，因此包含不同背景、朝向、面部表情，且每个图像都被归一化到250×250大小。
CALFW数据集是LFW数据集的拓展，地址为http://www.whdeng.cn/calfw/index.html?reload=true，它包含了3000对具有较大年龄跨度的人脸图像，可以用于评估人脸识别算法在跨年龄识别中的性能。
(4) CAS-PEAL
数据集地址：http://www.jdl.ac.cn/peal/。
发布于2008年，CAS-PEAL数据集是中国科学院收集建立的，它主要是为了提供一个大规模的中国人脸数据集用于训练和评估对应东方人的算法，有灰度图和彩色图两个版本。目前，CAS-PEAL人脸数据库由1040个人（595名男性和445名女性）的99594张图像组成，在特定环境下具有不同的姿势、表情、照明条件、表情以及是否佩戴眼镜等信息。对于每个被拍摄的人，通过9个相机来同时捕获不同姿态的图像，平均每一个人采集了约900张图像。
(5) CMU PIE与Multi-PIE
CMU PIE数据集地址：https://www.ri.cmu.edu/publications/the-cmu-pose-
illumination-and-expression-pie-database-of-human-faces/
Multi-PIE数据集地址：http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html。
CMU PIE数据集发布于2000年，PIE就是姿态(Pose)、光照(Illumination)和表情(Expression)的缩写，包含68位志愿者的41368张图，每个人有13种姿态条件，43种光照条件和4种表情。其中的姿态和光照变化图像也是在严格控制的条件下采集的，它在推动多姿势和多光照的人脸识别研究方面具有非常大的影响力，不过仍然存在模式单一多样性较差的问题。
为了解决这些问题，卡内基梅隆大学的研究人员在2009年建立了Multi-PIE数据集。它包含337个人，在15个角度，19个照明条件和不同的表情下记录，最终超过750000个图像。由于图像质量较高，原始的图片大小超过了300G，需要购买。
(6) Pubfig
数据集地址：http://www.cs.columbia.edu/CAVE/databases/pubfig/。
发布于2010年，这是哥伦比亚大学的公众人物脸部数据集，包含有200个人的58797张人脸图像，主要用于非限制场景下的人脸识别。与LFW相比，这个数据集更大，但是人更少，每个人的图片更多。
(7) MSRA-CFW
数据集地址：http://research.microsoft.com/en-us/projects/msra-cfw/。
发布于2012年，由微软亚洲研究院收集整理，包含1583个人的202792张图像，采用了自动标注的方法。
(8) CASIA-WebFace
数据集地址：http://classif.ai/dataset/casia-webface/。
发布于2014年，这是中国科学院自动化研究所李子青实验室开放的国内非常有名的数据集，包含10575个人494414张图。
(9) FaceScrub
数据集地址：http://vintage.winklerbros.net/facescrub.html。
发布于2016年，总共包含了530个人的106863张图片，其中男性女性各占265，分别包括55306和51557张图，每个人大概200张图。
(10) UMDFaces
数据集地址：http://www.umdfaces.io/。
发布于2016年，这个数据集有静态图和视频两部分，其中静态图包含8277个人的367888张脸，视频包含22075个视频中的3107个人的3735476张图。同时标注了21个关键点，性别信息，以及人的3个姿态。
(11) MegaFace
数据集地址：http://megaface.cs.washington.edu/dataset/download.html。
发布于2016年，MegaFace数据集包含一百万张图片，共690000个不同的人，所有数据都是华盛顿大学从Flickr组织收集。这是第一个在一百万规模级别的面部识别算法测试基准。现有脸部识别系统仍难以准确识别超过百万的数据量。为了比较现有公开脸部识别算法的准确度，华盛顿大学在2017年底开展了一个名为“MegaFace Challenge”的公开竞赛。这个项目旨在研究当数据库规模提升数个量级时，现有的脸部识别系统能否维持可靠的准确率。
(12) MS-Celeb-1M
数据集地址：https://www.msceleb.org/。
发布于2016年，这是目前世界上规模最大、水平最高的图像识别赛事之一，由微软亚洲研究院发起，每年定期举办。参赛队伍被要求基于微软云服务，搭建包括人脸检测、对齐、识别的完整人脸识别系统，而且识别系统必须先通过远程实验评估。
训练集合包含10M图片，具体的操作是从1M个名人中，根据他们的受欢迎程度，选择100K个，然后利用搜索引擎，给100K个人每人搜大概100张图片。共得到100K*100=10M个图片。测试集包括1000个名人，这1000个名人来自于1M个明星中随机挑选，每个名人大概有20张图片。
(13) VGG Face与VGG Face2
数据集地址：http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/
VGG Face数据集发布于2015年，包括2622个对象且每个对象拥有约1000幅静态图像。VGG Face2数据集发布于2017年，包含了9131个人的3.31百万张图片，平均每一个人有362.6张图。这个数据集人物ID较多，且每个ID包含的图片个数也较多。数据集覆盖了大范围的姿态、年龄和种族，其中约有59.7%的男性。除了身份信息之外，数据集还包括人脸框、5个关键点，以及估计的年龄和姿态。
(14) IARPA Janus Benchmark
数据集地址：https://www.iarpa.gov/index.php/research-programs/janus。
美国国家技术标准局（NIST）在2015年召开的CVPR上发布了IJB-A人脸验证与识别数据集，IJB-A数据包含来自500个对象的5396幅静态图像和20412帧的视频数据。被拍摄者来自世界不同国家、地区和种族，具有广泛的地域性，在完全无约束环境下采集的。很多被拍摄者的面部姿态变化巨大，光照变化剧烈以及拥有不同的图像分辨率。
另外，数据集引入了“模板”的概念，即在无约束条件下采集的、所有感兴趣面部媒体的一个集合，这个媒体集合不仅包括被拍摄者的静态图像，也包括视频片段。因此一个模板代表一个集合，最终的人脸验证与识别不是基于单个图像，而是基于集合对集合。
此后，2017年迭代到IARPA Janus B，2018年迭代到IARPA Janus C，这是业界非常具有难度的人脸识别竞赛。
(15) IMDB-Face
数据集地址：https://github.com/fwang91/IMDb-Face#data-download。
发布于2018年，这是一个经过人工清理标签的干净人脸识别数据集，包含590000个人，170万张图。数据来源于IMDb网站，清理数据集耗费了50个人共1个月的时间，由于数据集质量更高，可以用更少的数据完成相关任务。
1.2 人脸识别视频数据集
(1) YouTube Faces DB
数据集地址：http://www.cs.tau.ac.il/~wolf/ytfaces/results.html。
发布于2011年，这是一个视频数据集，也是用来做人脸验证的。它包含了1595个人的3425段视频，最短的为48帧，最长的为6070帧。和LFW不同的是，在这个数据集下，算法需要判断两段视频里面是不是同一个人，有不少在照片上有效的方法，在视频上可能会失败。
(2) PaSC
数据集地址：https://www.nist.gov/programs-projects/point-and-shoot-face-recognition-challenge-pasc。
发布于2014年，这是一个图片和视频人脸数据集，包含9376张静态图以及293个人的2802个视频。
(3) iQIYI-VID
数据集地址：http://challenge.ai.iqiyi.com/detail?raceId=5b1129e42a360316a898ff4f。
发布于2018年，iQIYI-VID是当前全球最大的明星视频数据集，数据集包含5000位明星艺人，长达1000小时、50万条视频片段，每条视频的长度是1~30秒，可以进行多模态(人脸、声音、动作及服装等特征)人物识别的挑战研究。
1.3 三维人脸识别数据集
(1) ND-2006
数据集地址：https://cvrl.nd.edu/projects/data/#nd-2006-data-set。
发布于2006年，包含888个人，每一个人约60张图，共13450张图，包含6种不同的表情。
(2) bosphorus
数据集地址：http://bosphorus.ee.boun.edu.tr/。
发布于2008年，这是一个使用结构光设备采集的3D人脸数据集数据集，它包含了105个人的4666张三维人脸图片，被采集者距离设备1.5m，采集的姿态为正脸。
1.4 人脸识别其他数据集
(1) FIW
数据集地址：https://web.northeastern.edu/smilelab/fiwkinship/
发布于2017年，这是一个研究亲属人脸识别算法的数据集，总共包含1000个家庭的11163张图片，每一个家庭至少3个成员，8张图片。
(2) MeGlass
数据集地址：https://github.com/cleardusk/MeGlass。
发布于2019年，这是一个戴眼镜的人脸识别数据集，眼镜对人脸识别问题会造成一定的困扰，MeGlass是一个仿真的戴眼镜人脸识别数据集，包括1710个人的14 832张有眼镜图和33087张无眼镜图，所有的图片来自于MegaFace。
(3) LAG
数据集地址：http://www.ivl.disco.unimib.it/activities/large-age-gap-face-verification/。
发布于2018年，LAG Dataset是一个跨年龄的人脸识别数据集，它包括1010个人的3828张图片，每一个人都至少包括一组小孩/年轻，或者成人/老人的照片。
(4) iCartoonFace
数据集地址：http://www.ivl.disco.unimib.it/activities/large-age-gap-face-verification/。
发布于2019年，iCartoonFace是一个卡通人脸识别数据集，它包括2639个人物形象，68312张图片，来自于爱奇艺中的卡通视频和搜索引擎中的图片。
(5) RFW
数据集地址：http://whdeng.cn/RFW/index.html。
发布于2019年，这是一个研究人脸识别算法中种族偏移问题的数据集，总共包含4类人种，即Caucasian, Indian, Asian, African。
其中Caucasian作为训练集，包含10000个人的468139张脸，测试集则包含4类人种。其中Caucasian包含2959个人，10196张脸。Indian包含2984个人，10308张脸。Asian包含2492个人，9688张脸。African包含2995个人，10415张脸。
人脸识别虽然在百万级别的数据集如MegaFace等都已经达到相当高的水准，但是在现实世界中面临各种姿态，分辨率、遮挡等问题，仍然有较大的研究空间。
2. 人脸活体与伪造数据集
在金融支付、门禁等应用场景，活体检测用来验证是否是真实的本人还是一张图片或者一段视频。随着当前人脸伪造技术的发展，伪造人脸图像的检测也是一个重要的问题。
2.1 人脸活体数据集
(1) NUAA
数据集地址：http://parnec.nuaa.edu.cn/xtan/data/nuaaimposterdb.html
发布于2010年，这是一个重放攻击人脸数据集，包含15个人采集的照片。采集时使用20fps，对每一个正面人脸姿态和中性表情进行采集，每一个人采集500张图，分辨率大小为640×480，人脸图像采集使用了Canon相机，而伪造人脸则使用相机纸打印和A4纸打印，上图展示了一些样本。
(2) Replay-Attack Database
数据集地址：https://www.idiap.ch/dataset/replayattack。
发布于2012年，这是一个重放攻击人脸数据集，包含50个人的1300个视频。所有的视频都是通过让一个（真正的）客户端试图通过内置的网络摄像头访问笔记本电脑或者通过显示同一客户端的照片或视频至少记录了9秒后生成，分辨率为320×240像素。
(3) 3DMask Attack
数据集地址：https://www.idiap.ch/dataset/3dmad。
发布于2013年，包含了17个人的76500张图片，使用Kinect进行采集。每一个人采集了3组视频，前两组为真实视频，第三组掩码攻击图。
每一组视频包含了5个视频，每一个视频300帧，每个帧包括一幅深度图像、相应的RGB图像和手动标注的眼睛位置。其中每帧分辨率是640×480，包含8位rgb图像和11位深度图像，采集者姿态是正面，无表情。
(4) MSU USSA
数据集地址：http://biometrics.cse.msu.edu/Publications/Databases/MSU_USSA/。
发布于2016年，这是一个活体检测数据集，包含9000张图片，其中1000张为真实图，8000张为伪造图，即非活体图。
(5) SiW
数据集地址：http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html。
发布于2016年，这是一个活体检测数据集，包含165个人，每个人包含8段真实的视频，多达20段伪造的视频，总共4478个视频。视频的分辨率为1080p，帧率是30fps。
(6) WFFD
数据集地址：https://arxiv.org/abs/1906.11900。
发布于2019年，这是一个3D人脸蜡像数据集，总共包含2200对真实人脸和蜡像人脸图。
(7) CASIA-SURF
数据集地址：https://sites.google.com/qq.com/chalearnfacespoofingattackdete/。
发布于2019年，这是一个活体检测数据集，包括1000个人的21000个视频，数据集通过Intel RealSense SR300相机在不同的室内背景下采集得到，同时采集RGB、Depth和InfraRed（IR）视频。其中RGB图片分辨率1280×720，Depth和IR的分辨率为640×480。
每一个样本会录制一个真实视频以及6个攻击视频，攻击类型包括遮挡住眼睛、鼻子、嘴巴等区域。
2.2 人脸伪造数据集
(1) FaceForensics++
数据集地址：https://github.com/ondyari/FaceForensics。
发布于2019年，这是一个伪造人脸数据集，使用了Face2Face、FaceSwap、DeepFakes及NeuralTextures共4种换脸算法对1000个真实视频进行处理，各自得到了510207张真假脸对应的图像。
(2) DFW
数据集地址：http://iab-rubric.org/resources/dfw.html。
发布于2018年，包括1000人的11157张图片，它是IBM发布的一个人脸数据集，主要包括遮挡和伪造人脸。每一个人都有一张正脸图，其中903张人有一个验证图，两者构成正常的人脸验证对。所有1000个人都有一些包括妆造图，874个人有一些被识别成该人（故意的或者非故意的）的伪造图，最终总共1000张整成图、903张验证图、4814张妆造图、4440张伪造（另一个人）图。
除此之外还有一些其他较小的人脸伪造数据集，感兴趣的读者可以自行阅读更多。
3. 人脸风格化数据集
人脸的风格化在娱乐社交领域里有非常广泛的应用，是近些年的研究热点。
(1) CUFSF
数据集地址：http://mmlab.ie.cuhk.edu.hk/archive/cufsf/。
发布于2009年，这是一个人像素描数据集，原图来自于FERET，有1195张成对的灰色正面肖像图和对应的素描图。
(2) IIIT-CFW1.0
数据集地址：http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html。
发布于2016年，包含100个名人的8928张卡通图片，同时也附带了1000张真实图。
(3) CartoonSet10/100k
数据集地址：https://google.github.io/cartoonset/download.html。
发布于2017年，有两个子集，CartoonSet10k和CartoonSet100k，分别包含10000和100000张卡通人脸图。每一张卡通人脸图都有16个组件，其中12个面部属性和4个颜色属性。
其中颜色属性来自于一个离散的RGB集合，每一个属性的种类可以低至3种，高达11种。比如chin的长度就包括short、medium、long一共三种，而发型就有111种。所有属性及其集合大小统计如下：
艺术风格总共包括：3种下巴长度(chin_length)、3种眼睛角度(eye_angle)、2种睫毛可见与否属性(eye_lashes)、2种眼睑样式(eye_lid)、14种眉毛形状(eyebrow_shape)、2种眉毛宽度(eyebrow_weight)、7种脸型(face_shape)、15种面部发型(facial_hair，包括光头)、12种眼镜(glasses，包括无眼镜)、111种头部发型(head hair)。
颜色风格包括：5种眼虹膜颜色(eye_color)、11种面部皮肤颜色(face_color)、7种眼镜颜色(glasses_color)、10种头发颜色(hair_color)。
比例风格包括：3种眼睛眉毛距离(eye_eyebrow_distance)、3种眼缝大小(eye_slant)、4种眉毛厚度(eyebrow_thickness)、3种眉毛宽度(eyebrow_width)。
所有的元素及其变种都是由同一个艺术家Shiraz Fuman绘制而成，最终得到约250个卡通艺术元素，可以组合成约108种样式。所有的艺术元素都是采用顺序分层的方式方便进行渲染，比如脸型需要依赖于眼睛和眼睛，而发型比较复杂有两个元素，一个在人脸上一层，一个在人脸下一层，总共有8层，头发背景、人脸、头发前景、眼睛、眼睫毛、嘴巴、面部头发、眼镜。
从属性到艺术的映射也是有艺术家确定的，这样任意一个属性的选择都能获得视觉好看的效果，而不至于对不齐，有时候需要一些交互，比如不同脸型的“短胡子”属性的创作。
(4) self2anime
数据集地址：https://github.com/taki0112/UGATIT。
发布于2019年，这是一个漫画人脸数据集，首先使用漫画人脸检测算法对Anime-Planet1上的图片进行了检测，最后留下了女性的人脸图共3500张，其中3400张作为训练，100张作为测试。
其他还有一些比较小和老的数据集，这里就不做过多的介绍，感兴趣的读者可以自行去了解更多。
4. 人脸姿态与3D数据集
人脸的姿态估计在考勤，支付以及各类社交应用中有非常广泛的应用。三维人脸重建在大姿态人脸关键点的提取，表情迁移等领域有非常重大的研究意义，也是目前人脸领域的研究重点。
4.1 人脸姿态数据集
(1) Bosphorus Database
数据集地址：http://bosphorus.ee.boun.edu.tr/default.aspx。
发布于2009年，这是一个研究三维人脸表情的数据集，通过结构光采集。包含105个人，4666张人脸，每一个人脸有35种表情以及不同的仿真姿态。
(2) BIWI
数据集地址：http://www.vision.ee.ethz.ch/datasets/b3dac2.en.html。
发布于2010年，包含1000个高质量的3D扫描仪和专业麦克风采集的3D数据，其中14个人，6个男性，8个女性。采集以每秒25帧的速度获取密集的动态面部扫描。
(3) Head Pose Image
数据集地址：http://www-prima.inrialpes.fr/perso/Gourier/Faces/HPDatabase.html。
发布于2013年，为灰度图数据集，在实验室采集，标注包括垂直角度和水平角度。包括5580张图，其中372个人，每个人15张图。
(4) BIWI kinect_headpose
数据集地址：https://data.vision.ee.ethz.ch/cvl/gfanelli/head_pose/head_forest.html。
发布于2013年，使用kinect进行采集，包含20个人的15000张图片，有3D的标注，图片大小为640×480。
(5) TMU
数据集地址：http://www.facedbv.com。
发布于2015年，这是一个面部视频数据库，包含31500个100名志愿者的视频。每个志愿者在7个照明条件下由9组同步网络摄像头拍摄，并被要求完成一系列指定的动作，有不同的遮挡，照明、姿势和表情的面部变化。与现有数据库相比，THU人脸数据库提供了具有严格时间同步的多视图视频序列，从而能够对注视校正方法进行评估。
(6) UPNA Head Pose Database
数据集地址：http://gi4e.unavarra.es/databases/hpdb/。
发布于2016年，10个人，其中6个男性，4个女性，每个人12个视频，6个规定的动作，6个自由的动作。分辨率1280×720，30fps，每一个视频10s，有3D标注信息。
4.2 人脸重建数据集
(1) Basel Face Model
数据集地址：https://faces.dmi.unibas.ch/。
发布于2009年，这是使用3DMM模型构建的数据集，通过结构光和激光进行采集，未处理前每一个模型由70000个点描述，处理后由53490个点描述。在数据库的处理过程中，将所有模型的每一个点的位置都进行了精确的一一匹配，也就是说，每一个点都有实际的物理意义，可能有右嘴角，可能是鼻尖。
数据集包含100个男性和100个女性的3D扫描数据，是人脸三维重建领域影响最大的数据集，堪称3D人脸领域的“hello world”。在该数据集中，还标注了表情系数，纹理系数，68个关键点的坐标，以及相机的7个系数。
BFM数据集如今已经更新了多次，包括BFM2017，BFM2019，读者可以自行关注。
(2) FaceWarehouse
数据集地址：http://www.kunzhou.net/#facewarehouse。
发布于2014年，这是浙江大学周昆实验室开源的3D人脸数据集，与3DMM数据集的构建相似，不过数据集是中国人。共包含了150个人，年龄从7-80岁。相比于3DMM数据集，它增加了表情，每个人包含了20种不同的表情、1个中性表情、19个张嘴、微笑等表情。
其他的还有USF Human ID 3-D Database，ICT-3DHP database，IDIAP等，读者可以线下了解。由于3D数据集的构建代价很高，所以仿真数据集经常被使用，即通过从2D图像构建3D模型然后进行姿态仿真。当然另一方面，研究摆脱3D数据集的运用的方法也不断被提出，而且精度已经和基于3D数据集的方法可以比拼，因此这可能也是未来的重要研究方向。
(3) 300W-LP
数据集地址：http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm。
这是基于300W数据集和3DMM模型仿真得到的3D数据集，这是3D领域里使用最大，使用最广泛的仿真数据集，包含了68个关键点，相机参数以及3DMM模型的系数的标注。
