人脸表情识别就是让计算机识别人脸的各种表情,进而分析表情所代表的情绪,意图等。人脸表情识别可以用在测谎,医学辅助诊断,人机交互方面。 与人脸识别相比,人脸表情特征更加细微,而且受各种因素的干扰也更大。目前人脸表情识别的研究都是在数据库上做测试。下面介绍几个比较常见的数据库。
1: The Japanese Female FacialExpression (JAFFE) Database
http://www.kasrl.org/jaffe.html
这个数据库比较小,而且是一个比较老的数据库了,早在1998年就发布了。该数据库是由10位日本女性在实验环境下根据指示做出各种表情,再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像,10个人,全部都是女性,每个人做出7种表情,这7种表情分别是: sad, happy, angry, disgust,surprise, fear, neutral. 每个人为一组,每一组都含有7种表情,每种表情大概有3,4张样图。这样每组大概20张样图,目前在这个数据库上的识别率已经很高了,不管是person independent 或者是person dependent。识别率都很高。这个数据库可以用来熟悉人脸表情识别的一些基础知识,包括特征提取,分类等。
2: The Extended Cohn-Kanade Dataset(CK+)
http://www.pitt.edu/~emotion/ck-spread.htm
这个数据库是在 Cohn-Kanade Dataset 的基础上扩展来的,发布于2010年。这个数据库比起JAFFE 要大的多。而且也可以免费获取,包含表情的label和Action Units 的label。
这个数据库包括123个subjects, 593 个 image sequence,每个image sequence的最后一张 Frame 都有action units 的label,而在这593个image sequence中,有327个sequence 有 emotion的 label。这个数据库是人脸表情识别中比较流行的一个数据库,很多文章都会用到这个数据做测试。具体介绍可以参考如下文献:
P.Lucey, J. F. Cohn, T.Kanade, J. Saragih, Z. Ambadar, and I. Matthews, "TheExtended Cohn-KanadeDataset (CK+)_ A complete dataset for action unit andemotion-specifiedexpression," inComputer Vision andPattern RecognitionWorkshops (CVPRW), 2010 IEEE Computer Society Conference on,2010, pp. 94-101.
3: GEMEP-FERA 2011
这个数据是2011年,IEEE 的 Automatic Face & GestureRecognition and Workshops (FG 2011), 2011 IEEE International Conference on 上提供的一个数据库,如果要获取这个数据库,需要签署一个assignment,而且只有学术界可以免费使用。
这个数据库拥有的表情图很多,但是subjects 很少。具体介绍可以参考如下文献:
M.F. Valstar, M. Mehu, B.Jiang, M. Pantic, and K. Scherer, "Meta-Analysis ofthe First FacialExpression Recognition Challenge,"Systems,Man, andCybernetics, Part B: Cybernetics, IEEE Transactions on, vol. 42,pp. 966-979,2012.
4: AFEW_4_0_EmotiW_2014
http://cs.anu.edu.au/few/emotiw2014.html
这个数据库用作ACM 2014 ICMI TheSecond Emotion Recognition In The Wild Challenge and Workshop。去年已经进行了第一届的竞赛,这个数据库提供原始的video clips, 都截取自一些电影,这些clips 都有明显的表情,这个数据库与前面的数据库的不同之处在于,这些表情图像是 in the wild, not inthe lab. 所以一个比较困难的地方在于人脸的检测与提取。详细信息可以参考如下文献:
A.Dhall, R. Goecke, J. Joshi,M. Wagner, and T. Gedeon, "Emotion RecognitionIn The Wild Challenge2013," inProceedings of the 15thACM on Internationalconference on multimodal interaction, 2013, pp.509-516.
5: GENKI-4K
http://mplab.ucsd.edu/wordpress/?page_id=398
这个数据库专门用于做笑脸识别的,整个数据库一共有4000张图片,分为“笑”和“不笑”两种,图片中的人脸并不是posed,而是spontaneous的,每个图片的人脸的尺度大小也不一样,而且还有姿势,光照的变化,以及头的转动,相对于posed facialexpression, 这个数据库的难度要更大。
详细信息可以参考如下文献:
WhitehillJ, Littlewort G, Fasel I, et al. Toward practical smile detection[J]. PatternAnalysis and Machine Intelligence, IEEE Transactions on, 2009, 31(11):2106-2111.
6:The UNBC-McMaster shoulder painexpression archive database
http://www.pitt.edu/~emotion/um-spread.htm
这个数据库用于做pain的表情识别,目前发布的数据库包含25个subject,200个video sequences,每个video sequence的长度不一,从几十帧图到几百帧图,每张图都有66 个facial landmarks,pain的intensity (0-15),以及facial action units的编号,每个video sequence也有一个整体pain的 OPI。
详细信息可以参考如下文献:
Lucy,P., Cohn, J. F., Prkachin, K. M., Solomon, P., & Matthrews, I. (2011).Painful data: The UNBC-McMaster Shoulder Pain Expression Archive Database. IEEEInternational Conference on Automatic Face and Gesture Recognition (FG2011).
7:Bimodal Face and Body GestureDatabase (FABO)
http://www.eecs.qmul.ac.uk/~hatice/fabo.html
这个数据库与其它数据库相比,多了gesture的信息,目前利用multimodality 做情感计算的尝试取得很多进展,利用语音信息,人脸表情,body language等做emotion analysis正在受到越来越多的关注,这个数据库就是从facial expression与body gesture两个方面考虑人的情感,不过这个数据库的ground truth label 很繁琐,具体的信息可以参考:
GunesH, Piccardi M. A bimodal face and body gesture database for automatic analysisof human nonverbal affective behavior[C]//Pattern Recognition, 2006. ICPR 2006.18th International Conference on. IEEE, 2006, 1: 1148-1153.