本文对人脸图像操纵技术进行了全面的综述,包括 DeepFake 方法以及检测此类操纵技术的方法。具体而言,本文综述了四种人脸操纵类型:整张人脸的合成、换脸(DeepFake)、人脸属性操纵和人脸表情操纵。对于每种人脸操纵类型,本文详细介绍了其相关的人脸操纵技术、现有的公共数据库,以及用于评估人脸操纵检测方法的重要基准,包括对这些评估结果的总结。
四种人脸操纵任务如下:
-
人脸合成:通常利用强大的 GAN(如近期的 StyleGAN 方法)创建完全不存在的人脸。这些技术获得了惊人的结果,其生成的高质量人脸图像栩栩如生。图 1 展示的人脸合成样本即通过 StyleGAN 生成;
-
换脸:即将一个人的脸换成另一个人的脸。该领域通常采用两种不同的方法:1)经典的计算机图形学技术,如 FaceSwap;2)新型深度学习技术 DeepFake,如近期的移动应用 ZAO;
-
人脸属性操纵:即修改人脸的某些属性,如发色、肤色、性别、年龄、是否戴眼镜等。该操纵过程通常使用 GAN 完成,如 StarGAN。该类型的典型示例是流行的移动应用 FaceApp;
-
人脸表情操纵:即修改人脸表情,如将一个人的面部表情迁移到另一个脸上。最流行的技术之一是 Face2Face,该技术可实时进行。近期方法展现出巨大潜力,可以生成高质量的视频,上述视频中人物(如奥巴马)的发言已被改变。
1. 人脸合成
完整的人脸合成数据集:
这些数据库都不提供真实人脸照片。真实人脸往往从CelebA、FFHQ、CASIA-WebFace、VGGFace2考虑。而上表中的假人脸往往都是利用GAN,特别的利用StyleGAN生成。有了真假照片,就有一些检测方案被提出用来识别图像是真是假:
2.换脸
和整张脸合成不同,换脸往往针对检测一个视频是真或假。下面的数据集同时提供了真和假的数据。下表也给出了假脸的合成方法。
下表给出了检测真假脸的方案:
3. 人脸属性
数据集相对少,因为可以利用许多开源的GAN网络来自己生成。著名的有IcGAN和StarGAN、GauGAN。一些检测方案如下:
4. 人脸表情
目前的人脸表情数据库只有Forensics++,一些检测方案有: