又作恶了？11家“涉深度伪造技术”的企业被约谈！

近日，国家互联网信息办公室、公安部约谈了11家科技企业，与前段时间集中在“互联网金融”领域不同，这次约谈又触及到了另一个敏感领域。

据国家网信办的消息称，针对近期未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，国家互联网信息办公室、公安部指导北京、天津、上海、浙江、广东等地方网信部门、公安机关依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演11家企业，督促其按照相关法律法规及政策要求，认真开展安全评估，完善风险防控机制和措施，并对安全评估中发现的安全隐患及时采取有效整改措施，切实履行企业信息内容安全主体责任。

那什么是“深度伪造(DeepFake)”呢？维基百科给出的解释是，专指基于人工智能的人体图像合成技术的应用，此技术可将虚假的图像或声音叠加至目标视频或音频上。说白了，我们把某个人的脸部图片或声音文件上传，同时结合机器学习的算法，从而可以轻易地对该人进行“面部操作”，有时加上对声音的逼真处理，制造出以假乱真的音视频——用以躲避识别、混淆视听、娱乐用户，或实现其他虚假传播之目的。

‍

按照腾讯研究院秘书长张钦坤的说法，深度伪造有四种：

• 人脸替换，即将图像或视频中的人脸替换为另一个人的脸，俗称AI换脸；

• 人脸再现，通过对目标人物的脸部特征进行修改，从而改变其面部表情，这种方式可以让目标人物表达他们在现实当中没有说过的话或者做没有做过的事；

• 语音合成，通过创建特定的声音模型，把文字转化成逼真的人声，一些语音播报类应用中的名人语音播报，就是这种技术的一种应用；

• 人脸合成，通过深度合成技术生成虚拟的、现实中完全不存在的人脸，这也是生成对抗网络的典型应用。

实际上，深度伪造并非最近才有，其中面部伪造技术甚至可追溯到20世纪60年代，而被广大观众熟知的则是1994年《阿甘正传》的上映，在影片中阿甘与肯尼迪毫无违和感的握手，就是使用了当时的换脸技术，将肯尼迪的影像填充到了电影中，并调节他的表情和肢体语言。

而我们现代“深度伪造”的思路一般源自2014年由蒙特利尔大学的Ian Goodfellow在28岁时发表的一篇论文，重点讲述了生成对抗网络（GAN）原理。它的核心是由一个生成器 G（Generator）和一个判别器 D（Discriminator）构成，其中生成器和判别器在一种不断对抗博弈的状态中相互学习，最终达到平衡状态。

我们再做一下更为通俗的解释，假设生成器会产生赝品，就像制造假古董的商人，他说，我得先学习真古董的特征啊，然后就让这个生成器不断学习真古董的图像，而判别器是类似裁判员的角色，一开始，他很快就能判别出来，“这个是假的，滚”，到了一定阶段，他就需要想一想了。这个过程相当于二人博弈，魔高一尺，道高一丈，反复地博弈，直到系统达到所谓的“平衡”，也就是说，生成器此时产生了非常接近于“真实”的结果，终于让“判别器”判断不出来的时候，假的就赢了。

并不像战胜人类的AlphaGo，或是当年的深蓝大战卡斯帕罗夫那般轰动，这篇论文发表后，除了Goodfellow同学和小伙伴们在小酒馆里兴奋一下，大部分时间这帮人还是该干嘛干嘛，论文被蜷缩在实验室里，公众并不了解。从另一方面，最初的版本图像实在是太不清晰了，但经过几年的迭代，从GAN，到DCGAN、CoGAN、ProGAN、BigGAN等等，你听这名字，就知道它在不断变好。

这只小猛兽被放出来，让公众真正熟识是在2017年。那年，著名社区Reddit的一个名为“deepfakes”的用户（这也是“深度伪造”这个英文词由来的另一个原因）上传了当红明星盖尔·加朵的“成人视频”，因为她刚刚出演完《神奇女侠》，人们惊叹道，难道这一姐也下海了？后来知道是人工伪造， DeepFake随即成为热门分区，热帖不断，进而成为该技术的代名词。尽管后来由于当事人的举报，Reddit关闭了这个分区，但相关应用Faceswap的源代码被创建者匿名捐赠给了开源平台，并上传到Github，“深度伪造”由此一发不可收拾。

到了2019年，据一家位于荷兰的网络安全公司Deeptrace统计，共有13个主要的Deepfake公开论坛，其总人数已超过10万人；他们又发现，网上已经有14678个DeepFake视频，比前一年多了一倍。

不过需要特别说明的是，其中96%仍是色情视频。后来继续出现了更加无耻的应用——DeepNude，有超过68万的普通女性遭到“一键脱衣”，这些用户并没有参与任何拍摄，不肖之徒所需要的只是一张她们的脸部照片。

迈阿密大学法学教授玛丽·安妮·弗兰克斯(Mary Anne Franks)说：“这令人沮丧，我们对深度伪造技术的恐惧已经变成现实。”

DeepFake后来也进入了政治领域，虽然视频绝对数量不多，但爆发力很大。2018 年 5 月，时任美国总统特朗普宣布中止全球气候变化协议，随后被比利时某政党利用“深度伪造”技术进行篡改，做出一个“特朗普宣告比利时政府也应退出”的假视频，引起比利时民众的公愤。无独有偶，另一个涉及深度伪造的政治事件，甚至间接导致了加蓬共和国的军事政变。

既然已经存在那么多年，那为什么到了最近才想到“约谈”呢？不得不说今年春节意外爆红的一个应用Avatarify。2020年疫情期间，俄罗斯一名程序员觉得几个脑袋整天开视频会议很无聊，开发了一个能够把别人的照片，比如马斯克，套在自己脸上的“变脸”软件，打算恶搞一下同事，当取得还不错的娱乐效果后，便将其打包上传到App Store，没想到的是，这App竟然很快爬升到了免费榜的榜首。

Avatarify 应用里面包含了十几种不同的换脸特效玩法，其中就有在国内迅速出圈的“吗咿呀嘿”，不得不说，这种带节奏的玩法起到推波助澜的作用，后来仅仅在抖音平台搜索上关于这个特效的播放数量就达到了21亿，制作教程也有1.3亿播放量，借着春节假期，来了一场“全民恶搞”。

与此同时，DeepFake版的阿汤哥也火起来，视频的“主角”是伪造的汤姆 · 克鲁斯，他带着标志性的灿烂笑容，在镜头前打高尔夫。"Tiktok 网友们，大家好。你们想看我运动？这就来！"这个假阿汤哥，网友们一开以为就是真的，“直到我看了评论区，才恍然大悟”，更多网友表示：" 想要分清楚他和真汤姆之间的差别，是不可能的啊！"

‍

回到先前被约谈的那十一家公司，我们现在大概不会认为是兴师动众了吧，不过为什么是这十一家呢？

我们逐一来看。首先是映客、小米，为什么要把它们排在第一、二个，而不是阿里和腾讯，或许主要原因是这两家在春节前趁着另一波热度推出一款仿照Clubhouse的语聊应用。映客在2月抢跑上线“对话吧”产品，几乎与此同时，雷军宣布“米聊，重新出发”，新米聊同样也是一款类Clubhouse的应用。既然是主打语音社交，涉及到语音合成，今后出现大面积的伪造，在所难免。

接下来我们应该可以迅速判断出快手、字节跳动这两家在十一家里的原因，它们不需要做新产品，之前提到“吗咿呀嘿”生成的短视频在两个平台上播放的火爆程度，足以说明一切。阿里巴巴、腾讯，其实也比较容易理解，按目前它们的体量和技术水平，可以进入任何一个相关领域，更有腾讯优图、阿里达摩院，不仅有研究方向，更有研发上的王牌军，并靠自身平台流量可以带火任何产品。

这十一家公司里也有比较陌生的名字，比如鲸准数服，这家的母公司是36氪的，人们不禁要问，一个创投媒体，为什么也在其列？鲸准数服旗下capitalcoffee.club域名网站显示，有直播业务。在Clubhouse最火的时候，他们发现上面大都活跃着创业者和投资人，感觉这事儿应该和他们有点关系，"鲸准有能力、有资源做一个类似的产品。"当然，这次网信办也叫上了他们。

至于老牌的语音和音乐应用喜马拉雅和网易云音乐，在其之列，一点也不奇怪。喜马拉雅用户渗透率为62.8%，牢牢占据第一梯队，他们不是说想不想做的问题，而是现在已经有了，你可能不知道的是，他们在这条路上已经走了很远，我们看到，喜马拉雅在boss直聘上招聘“语音合成算法专家”，主要职责是：1.语音合成领域相关算法研究与应用；2.搭建语音合成引擎，对合成模型优化。

最后一个名为“去演”的应用，则直接对标了国外的换脸软件，App Store上它的介绍页面说得很直接：现在，仅需一张照片，就可以实现Gif表情包、写真、视频等的一键换脸操作，用AI技术让自己成为最闪耀的明星。独特的AI换脸隐私保护政策和风控算法模型，为你的图像安全保驾护航。更有海量丰富素材，包括影视经典、热门明星、当红综艺以及抖音微博同款等名场面以及表情包、二次元等，让你尽情演绎不同风格造型，快去演吧~~~

经历了七天的爆红后，3月3日，娱乐应用Avatarify已在App Store中国区悄然下架，官方暂未说明下架原因。

试想一下，当伪造的语音连亲妈都听不出来，好像就没那么娱乐了。2018年，三名蒙特利尔大学的博士联合创办了一家名为“琴鸟”（Lyrebird）的公司，开发了一种“语音合成”技术。只要对目标人物的声音进行1分钟以上的录音，然后把录音丢给“琴鸟”处理，就能得到一个特别的密钥，利用这个密钥可以用目标人物的声音，生成任何想说的话，而且“琴鸟”还能在合成声音中加入“感情”元素，让声音听上去更为逼真。

利用基于人工智能技术合成伪造的声音或视频与受害人联系，可信度更高、迷惑性更强。欧洲首个AI声音诈骗已经发生，2019年3月，有犯罪分子成功模仿了英国某能源分公司在德国母公司CEO的声音，诈骗了220,000欧元。据当时《华尔街日报》的报道，这名下属突然接到了老板的电话，要求他在一小时内进行汇款，“该软件不仅能够模仿声音，连音调、断句和德国口音都能模仿。电话里还附带了一封电子邮件“，这位能源分公司的负责人后来就答应了。

国内也有类似案件发生，根据浙江省衢州市中级人民法院的判决书显示，从 2018 年 7 月份开始，被告人张某、余某等人以牟利为目的，使用其购买的公民个人身份信息注册支付宝账号，并使用软件将公民头像照片制作成公民 3D 头像，从而通过支付宝人脸识别认证。该团伙非法收集近2000万条公民身份信息，共使用他人公民个人身份信息注册成功至少 547 个通过人脸识别认证的实名支付宝账户，非法获利4万元。

去年闹得沸沸扬扬“假靳东”则是影响更大的案例，更多人会认为那个老阿姨是精神不正常，权当笑话听，觉得这种事情怎么可能分辨不出来呢，可能网友不太了解的是，这些“假靳东”连直播都可以搞定，已经有点超出普通网民的想象了。

讲到这里，我们仍然认为技术是中性的，生来并非“作恶”。比如像知名的家谱网站MyHeritage，最近推出了深度学习产品Deep Nostalgia，用户可以上传亲人或者任何人的老照片，它能够为老照片中的人创建短视频动画，该动画可以笑脸、眨眼和移动，从而看起来这个人突然变活了。

MyHeritage 还制作了亚伯拉罕 · 林肯有声版的动态视频样片，如果再结合上以前曾用在“邓丽君”演唱会上的“全息投影技术”或Digi Doug虚拟数字人化身，或许在不久的将来，我们就能期待博物馆里的历史人物“亲自”为我们讲他们的故事了。

‍

‍无论作恶与否，深度学习下的视频很大程度上可以“改变”事实，让人们相信。在南京大学新闻与传播学院王辰瑶教授及其团队发布的《2020年全球新闻创新报告》中探讨了这样一个问题，新闻基于客观事实的基石是否以及在多大程度上会被改变？技术拟真可能造成的问题，也会让数字视频时代的“假新闻”及其治理比之前时代变得更加突出。 

斯坦福大学关于“深度伪造”需要研究的六个问题：

1、 创造一个“深度伪造”视频正变得越来越容易；

2、 你也可能成为“深度伪造”技术的目标；

3、 “深度伪造”正成为一项大生意；

4、 没有什么新技术可以检测到“深度伪造”；

5、 区块链可能成为解决方案的一部分；

6、 记者应该像侦探一样工作。

2019年6月28日，美两党议员分别在众议院、参议院同时提出的《2019 年深度伪造报告法案》(Deepfakes Report Act of 2019)要求国土安全部商有关部门对不断增长的深度伪造技术开展前瞻性研究，以评估防范这项新技术可能带来的风险及构成的威胁。

正如美国共和党大佬卢比奥所说，“过去，如果你想威胁美国，那你需要10艘航母、核武器，还有洲际导弹。现在，你只需要登录我们的互联网系统、银行系统、电网、基础设施网络，甚至你只需要具备弄出一段可以以假乱真的虚假视频来搞乱我们的选举就行了。这就足以让我们的国家陷入巨大的内乱，深深削弱我们。”

如果说战争离美国本土还比较遥远，那么刚刚过去的2020年美国大选，已经闹得沸沸扬扬，尽管这次“深度伪造”没出什么大事儿，但还是让各级安保部门捏了一把汗，他们甚至在前一年未雨绸缪通过了上述的《2019 年深度伪造报告法案》和《深度伪造责任法案》。此外，说到相关的法律，2019 年 7 月，美国弗吉尼亚州扩大了正式生效《非同意色情法》（Nonconsensual pornography law）的修正案，将深度伪造内容纳入该修正案。

世界主要国家和地区也出台了相应的法律法规，如欧盟《通用数据保护条例》涉及到深度伪造的条款，新加坡于2019年通过《防止网络虚假信息和网络操纵法》，该法适用于利用深度伪造技术制作的虚假音视频。

我国在这方面的立法亦与世界保持同步。比如去年正式颁布的《民法典》，在制定时即采纳了相关意见——第1019条第1款明确规定，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人肖像权。而这次约谈的法律依据是《网络安全法》、《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》。

然而，“现有法律仍是不充分的“，弗兰克斯说，“在视频或音频发出后几乎没有真正的追索权”。法律的“滞后性”和“事后性”并不可能涵盖到飞速发展的技术本身，尽管现在的“反伪造”团队也在一日千里地进步着。

东南大学法学院研究员王禄生则建议，可以在现有法律规制基础之上构建“平台-制作者-受众”三位一体的规制体系，强化平台的审查责任、明确视频制作者的说明义务，并培养公民在“后真相时代”的信息素养。

事实上，去年，Facebook和Twitter就已经在尝试标记一些“欺骗性”的图像和视频，预期产生严重损害的视频则被直接删除。这一行动背后是对平台深度伪造检测、鉴别技术提出了更高要求。以谷歌为代表的公司，利用平台资源，积极构建和开放深度合成数据集、开发标注工具，为研究识别技术提供实时素材，并推动检测挑战赛，加速提升检测的技术水平。

Facebook于去年6月宣布了其首届DeepFake检测挑战赛的结果，获胜算法能够以65.18%的平均准确率发现非常逼真的DeepFake虚假内容。虽然是个好的开始，但看起来还有很长的路要走，这或许也是有关部门为什么要约谈上述11家公司的原因之一吧，其中大部分都是平台提供商。

文：陆易斯 / 数据猿

●上一篇精彩好文：

风口上的5G，为何迟迟没有迎来真正的爆发