• DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection


    本文对人脸图像操纵技术进行了全面的综述,包括 DeepFake 方法以及检测此类操纵技术的方法。具体而言,本文综述了四种人脸操纵类型:整张人脸的合成、换脸(DeepFake)、人脸属性操纵和人脸表情操纵。对于每种人脸操纵类型,本文详细介绍了其相关的人脸操纵技术、现有的公共数据库,以及用于评估人脸操纵检测方法的重要基准,包括对这些评估结果的总结。

    四种人脸操纵任务如下:

    • 人脸合成:通常利用强大的 GAN(如近期的 StyleGAN 方法)创建完全不存在的人脸。这些技术获得了惊人的结果,其生成的高质量人脸图像栩栩如生。图 1 展示的人脸合成样本即通过 StyleGAN 生成;

    • 换脸:即将一个人的脸换成另一个人的脸。该领域通常采用两种不同的方法:1)经典的计算机图形学技术,如 FaceSwap;2)新型深度学习技术 DeepFake,如近期的移动应用 ZAO;

    • 人脸属性操纵:即修改人脸的某些属性,如发色、肤色、性别、年龄、是否戴眼镜等。该操纵过程通常使用 GAN 完成,如 StarGAN。该类型的典型示例是流行的移动应用 FaceApp;

    • 人脸表情操纵:即修改人脸表情,如将一个人的面部表情迁移到另一个脸上。最流行的技术之一是 Face2Face,该技术可实时进行。近期方法展现出巨大潜力,可以生成高质量的视频,上述视频中人物(如奥巴马)的发言已被改变。

    1. 人脸合成

    完整的人脸合成数据集:

    这些数据库都不提供真实人脸照片。真实人脸往往从CelebA、FFHQ、CASIA-WebFace、VGGFace2考虑。而上表中的假人脸往往都是利用GAN,特别的利用StyleGAN生成。有了真假照片,就有一些检测方案被提出用来识别图像是真是假:

    2.换脸

    和整张脸合成不同,换脸往往针对检测一个视频是真或假。下面的数据集同时提供了真和假的数据。下表也给出了假脸的合成方法。

    下表给出了检测真假脸的方案:

    3. 人脸属性

    数据集相对少,因为可以利用许多开源的GAN网络来自己生成。著名的有IcGAN和StarGAN、GauGAN。一些检测方案如下:

    4. 人脸表情

    目前的人脸表情数据库只有Forensics++,一些检测方案有:

  • 相关阅读:
    【C#】结对项目开发-电梯调度仿真系统(Bata版)(党云龙、黄为)
    【C】二维数组求最大子数组(基于一维数组的拓展)
    【敏捷开发】敏捷开发方法综述
    【C#】结对项目开发-电梯调度仿真系统(内部开发者版)(党云龙、黄为)
    【C】课堂结对联系-求整数数组的子数组之和的最大值(党云龙、黄为)
    软件单元测试与代码规范
    统计英文文本文档中前十个出现频率最多的单词
    floatyfish阶段总结(Alpha版)
    每日站立会议-5-7
    小组站立会议-5-6
  • 原文地址:https://www.cnblogs.com/king-lps/p/12459628.html
Copyright © 2020-2023  润新知