2019年6月18日

从我校和工程研究人员使用面部怪癖揭露“deepfakes”

通过 卡拉曼科

看前总统奥巴马发表他每周例行讲话数小时的录像后,什鲁蒂·阿加瓦尔开始对奥巴马的方式说话注意一些怪癖。

“每次我说‘嗨,大家好,’我将他的头向左或右,然后a've钱包他的嘴唇,”阿加瓦尔说,计算机科学研究生皇冠体育平台。

阿加瓦尔和她的导师哈尼·法德,在电气工程和计算机科学和信息在皇冠体育平台校部进入的教授,都在竞相开发的数字取证工具,可以揭露“deepfakes,”超逼真的AI-产生人视频做或说的事情,他们从来没有或说。

看到在现实奥巴马的演讲这些模式给了阿加瓦尔的想法。

“我意识到,有所有这些deepfakes中一个共同点,那就是他们往往会改变的方式一个人的谈话,”阿加瓦尔说。

阿加瓦尔的洞察力使她和法里德创造反对deepfakes战争的最新武器:可以使用的人怎么说话的细微特征,如奥巴马的不同头点头唇皮包,以识别是否新视频新取证的方法个别是真实的还是假的。

在左边,SNL明星麦金农,假冒凯特·沃伦在一个小品,并在右边,脸上交换deepfake用于重叠技术已经沃伦的脸在那麦金农。 (由Stephen McNally的皇冠体育平台的照片)

他们的技术,其中本周阿加瓦尔呈现在加利福尼亚州长滩的计算机视觉和模式识别会议,可以用来帮助记者,政策制定者和领先的政治和经济领导人可能是伪造的视频市民留一步荡秋千选举,扰乱金融市场,甚至煽动内乱和暴力。

“现在想象一个世界,在这里不只是你看可能是也可能不是真正的新闻 - 这就是我们一直生活在过去的两年里,全世界的,因为2016年的选举中 - 但其中的图像和你的影片看未必是真实的,”法里德说,谁在皇冠体育平台开始于7月1日他的任期“它不只是在创造虚假的图像和视频,这些最新进展。它是这些技术到生态系统,已推进假新闻,耸人听闻的消息和阴谋论的注射“。

这项新技术的作品,因为最常见的deepfake技术三个 - 被称为“唇同步”,“面子互换”和“木偶大师” - 涉及从一个源与图像从另一个源相结合的音频和视频,创建可以由热心观众被发现断开 - 或一个复杂的计算机模型。

使用“面子交换”技术,例如,人们可以通过叠加王牌的脸在亚历克·鲍德温的做王牌的模拟视频创建唐纳德·特朗普的deepfake,所以,这是几乎一样,如果鲍德温穿着紧身王牌面具。但是鲍德温的面部表情会通过面罩仍然显示,阿加瓦尔说。

“创建的新形象将有表情和亚历克·鲍德温的脸部行为,但王牌的脸,”阿加瓦尔说。

同样,在“唇同步” deepfake,AI算法取一个人说话的现有的视频,并改变视频的嘴唇动作,以匹配新的音频所组成,其中音频可能是断章取义的旧讲话,一个假冒者来说,或合成语音。去年,演员和导演乔丹皮尔用这个技术来创建奥巴马的病毒视频说皇冠体育总统王牌炎症的事情。

但在这些影片中,只有嘴唇动作被改变,因此在面部其余部分的表达可能不再匹配所讲的话。

为了验证这一想法,阿加瓦尔和法里德的五大政治人物齐聚录像 - 希拉里·克林顿,奥巴马,伯尼·桑德斯,唐纳德·特朗普和沃伦 - 跑他们通过开源脸部行为分析工具openface2,其中挑选出面部抽动像凸起眉毛,鼻子皱纹,颚滴并压制嘴唇。

他们则使用的输出创造什么样的团队称之为“软生物统计学”的车型,这对于每一个政治领袖的面部表情和头部动作相关。他们发现每一个领导者必须说,当他们用这些模型来分析他们的合作者创造真正的视频和deepfakes在南皇冠体育平台时,他们发现这些模型可以准确地告诉92和96之间从真伪的不同方式%的时间,具体取决于视频的领导者和长度。

openface跟踪软件分析左侧奥巴马总统的真正的视频,以及“唇同步” deepfake右侧。 (由Stephen McNally的皇冠体育平台的照片)

“的基本理念是,我们可以建立不同的世界各国领导人的这些软生物统计模型,例如在2020年总统候选人,然后作为影片开始打破,例如,我们可以对其进行分析,并试图确定,如果我们认为他们是真正的或不,”法里德说。

不像一些数字取证技术,其通过点样在制造过程中留下的图像伪影识别假货,新方法仍然可识别出已通过简单的数字处理改变像缩放或压缩假货。

但它不是万无一失。当应用于政治人物做演讲和正式的地址,因为他们往往坚持在这些环境中精心排练的行为的技术效果很好。但它可能不会对这些人在其他设置的视频以及工作:比如,问候他的哥们当奥巴马可能不会给他相同的特征点头。

deepfake创作者也可以成为精明的这些讲话模式,并学会并将其纳入世界各国领导人的录像,研究人员说。

阿加瓦尔说,她希望新的方法将帮助买一点时间在不断变化的种族现货deepfakes。

“我们只是想获得一些上手在检测和创造新的deepfakes这种猫捉老鼠的游戏,”阿加瓦尔说。


最初发表 作为“研究人员使用面部怪癖揭露‘deepfakes’”的新闻伯克利分校。转载许可。

最近更新时间:

2019年9月27日