datasheet

QbitAI量子位

文章数:1292 被阅读:14042855

账号入驻

你用Deepfakes给小电影换个脸,人脸识别AI也看不出来:95%萌混过关

2018-12-31
    阅读数:
车栗子 发自 凹非寺 
量子位 出品 | 公众号 QbitAI

就算已经被全网封杀,给无数小电影换脸的Deepfakes也不会淡出人们的视线。

 来自差评:十元小姐姐的合成小电影

毕竟,它就像冬日里的阳光,给万千少年送去女神的温暖。

人类嘛,明知是换了脸,但只要看上去够自然,不影响视听享受,就不会有再多要求。

但是,AI看视频可不是为了痛快:比如在安防领域工作的人脸识别系统。

那么,人脸识别AI能看出哪些视频是Deepfakes生成的么?

 用GAN换了脸

瑞士Idiap研究所的科学家,用GAN给300多段视频换脸,然后测试了两套先进的人脸识别系统:一个基于VGG,一个基于Facenet。

结果发现,两只AI都分不清,哪些视频被换了脸。

换脸要自然

要考验人脸识别系统是否目光如炬,先要有一个优秀的数据集。

研究人员加工了公开的VidTIMIT视频数据集。VidTIMIT里面,每个主人公都有10段视频

 左为A,右为B,两者皆为原始视频

从数据集里选出了16对 (32位) 长相接近的主人公,把一个人 (A) 的脸部特征,用GAN换给同组的另一个人 (B) 。

就这样,生成了320段换脸视频。

 左为B (原始) ,右为A的脸给了B

然后,按照视频的分辨率分为高清 (HQ,128x128) 和低清 (LQ,64x64) ,就有了620段换脸视频 (不知为何少了20段)。

现在,换脸数据集已经可以下载了,叫DeepfakeTIMIT,传送门在文底。

人脸识别已阵亡

数据集有了,就要选择测试对象。

研究人员决定让两个开源的预训练模型接受测试:一个基于VGG,一个基于Facenet

两个模型都是如今人脸识别领域的前沿。

 a的脸给了b,就得到c

95%分不清

考核标准是误识率 (FAR) ,指的是两段视频里的人物不同、却被AI判断为同人的概率 (越低越好) 。

第一步,给AI看没有换过脸的原始视频,计算出一个判别用的阈值 (Threshold) 。后面的测试里,如果置信分高于阈值,AI就判断为同人。

第二步,给AI看换脸视频,得出各自的误识率:

VGG (LQ) :88.75%
VGG (HQ) :85.62%

Facenet (LQ) :94.38%
Facenet (HQ) :95.00%

误识率高,表示VGG和FaceNet都没有敏感地察觉视频被换了脸,还以为是同样的人。

对比一下,只投喂天然视频的时候,两个模型的误识率分别是0.00%0.03%。可在投喂换脸视频之后,AI就被严重迷惑了。

 脆弱的人脸识别

所以团队觉得,在人脸识别系统之外还需要另外的检测方法,来分辨Deepfake换脸视频。

另外的打假技巧

研究人员用的第一种方法是读唇 (Lip-Sync) :

嘴唇动作和视频里的原始音频做对比,如果发现明显不同步,就判断为换过脸。

但读唇法并没有明显的效果:

 FRR是同人被误判为非同人的概率,越小越好,EER为FRR=FAR的点,亦越小越好

其他方法,就是单纯基于图像的了。

其中,表现最好的是把图像质量测量法 (Image Quality Measures) 和支持向量机 (Support Machine Vector) 结合在一起的方法:

IQM+SVM,高清测试的EER只有8.97%,低清测试的EER只有3.33%。这样看来,奏效的依然是基于图像的算法。

 视频换脸过后,画质会受到影响

而为高清视频换脸,通常比低清视频更难识别。而换脸技术日新月异,今后的Deepfake视频,AI可能就更难察觉了。

辉煌与忧伤

让人类飘飘欲仙,也让人脸识别AI无动于衷,视频换脸果然是一门得天独厚的技能。

去年12月,一位用户名为deepfakes的伟人,把一段AI加工的小电影传上Reddit,原本动作片的女主角,换成了神奇女侠。没过多久,同名算法也开源了。

如今又到年关,世界各地的人类也在这技术的恩泽之下,幸福了一年。

虽然,Reddit讨论版不在了,GitHub开源代码没有了,PornHub也全面清除了用Deepfakes算法做的视频;

但那些已经用上了算法、或是用上了FakeApp傻瓜应用的人们,依然可以继续享用,也可能用自己的方式继续传播Deepfakes。或者,干脆开发新的换脸技能。

 来自CMU:换脸也不是独门绝技

肖像权当然不容侵犯,但如果类似的技术只是自用而不传播,有Deepfakes的世界也可以很美好。

论文传送门:
https://arxiv.org/pdf/1812.08685.pdf

数据集下载:
https://www.idiap.ch/dataset/deepfaketimit

年度评选报名

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !




最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved