中国科学技术大学张卫明教授：做好科普，让大众了解深度伪造技术的存在，预防传统电诈的手段就能有效预防AI诈骗

2023-06-19 10:31:57来源：每日经济新闻

以前都说“有图有真相”“有视频有真相”……但自AI换脸工具出现后，这就要打一个大大的问号了。

(资料图片)

前不久，一男子因AI换脸，10分钟被骗430万元。类似这样的新闻引起了人们对AI换脸技术的警觉。

据《每日经济新闻》记者了解，市面上已经出现了开源的AI换脸软件支持实时换脸，可以应用于线上直播，甚至视频通话场景。

中国科学技术大学网络空间安全学院副院长张卫明教授团队曾参与大名鼎鼎的DeepFaceLab（一种利用深度学习进行视频换脸的工具）的开发。资料显示，2020年，他带领团队参加由Facebook、MIT等组织的全球最大的“深度伪造检测挑战赛（DFDC）”，获得亚军。

近日，张卫明教授接受了《每日经济新闻》（下称“NBD”）的专访。谈及开源换脸技术，他认为相关技术的科普非常重要，可以有效提升民众的防骗素养，“某个先进技术如果只有很少的人知道和使用，大众缺少认知才更容易被欺骗。”

中国科学技术大学网络空间安全学院副院长张卫明图片来源：受访者供图

深度合成内容的检测要从被动转向主动

NBD：您的多个在研项目与深度防伪检测有关，可以介绍一下相关人工智能安全领域的最新研究进展吗？

张卫明：深度伪造检测相关研究进程，其实跟人工智能本身的技术进展有很大关联。近两年，以GPT为代表的生成式人工智能迎来大爆发。现在的深度合成，可以看成是生成式人工智能的一个分支。与诸多技术一样，生成式人工智能也是一把双刃剑，它可能被恶意使用。大家目前最担心的事情之一，是生成式人工智能带来的大量伪造信息。

以前我们主要做深度伪造检测，现在我们关心的问题更宽泛一点，包括了各种人工智能生成内容的检测。现在的GPT越来越接近人类，可以被用来写各种各样的文案，包括钓鱼邮件、虚假新闻等，同时还冲击到了教育领域，比如现在学生的作业，你无法断定是不是机器写的。所以一个很热门的问题是，怎样检测这些文本是机器写的还是人写的。

目前，国内外有很多团队在研究深度合成内容检测，但这些检测方法主要是被动检测，仍存在局限。如果能在部署模型阶段，植入一些标识，去做主动检测，这个可能更重要。比如，能不能在生成内容里嵌入水印，同时不影响内容的质量？目前关于人工智能生成内容水印的研究，已经变成了新的热点。

其实我们国家已经针对深度合成应用密集出台了相关规定，要求深度合成服务提供者应当对生成内容进行显著标记。

给文本做标识是比较难的，但是这个问题确实很重要。我们注意到，OpenAI等公司也在做自己的水印技术用于机器文本鉴别。类似这样的研究，正在变成新的热点。

NBD：一方面，研发者可以添加水印，另一方面，一些懂技术的人，也可以去掉水印。由此可见，深度伪造与其检测，就像一个对抗的循环，您怎么看待这一现象呢？

张卫明：确实存在这样的情况，所有的安全都是一攻一防，安全技术都有它的边界。所有的攻防，包括深度合成以及检测的攻防，都是在动态博弈中发展，并不会说最终PK出一个结局来。

因为安全这个领域，有一个共识，就是没有绝对的安全，安全永远是相对的。你做各种各样的安全防护，理论上来讲，它都有可能被攻击。一旦有新的攻击出现，那就要求我们去想新的补救措施。安全理念的提升，也是在这种对抗过程中动态地发展。

前面提到国家出台相关规定明确要求去打显著标识，其实那个是指可见的水印。可见水印有一个很大的问题，容易被人刻意擦除。相对来说，不可见水印有一定的优越性，一个方面是它不可见，别人不知道这里面有水印；另一方面，即使知道有水印，也不知道水印在什么位置。

目前做水印技术，会把信息藏在非常鲁棒的特征空间上，来抵抗各种各样的擦除。当然它是有边界的，比如说给视频擦水印的人，他如果不计损失的话，可以把视频质量变得很低，确实可能把水印擦掉。所以这里面其实是一个博弈。

预防AI诈骗关键在于知道深度伪造技术的存在

NBD：我们了解到，您的团队开发了一种开源的AI换脸工具，旨在科普这种技术，提升大家对深度合成的认知水平。但有人认为，一旦这种深度伪造技术普及之后，民众可能对通话安全有所担忧。对此，您怎么看？

张卫明：我是这么理解的，大家目前最担心的，其实是用生成式人工智能（比如深度合成）去实施各种各样的诈骗。这个确实影响很大，但恰恰是因为这样，更应该去做这样的科普、开源，让老百姓真的体验到现在的技术发展到什么程度了。

以前我们说有图有真相、有视频有真相。现在要有一个意识，就是有图可能也不是真相，有实时的视频，可能也不是真相。

对普通百姓来说，关键是要知道这种深度伪造技术的存在。因为做防护其实是万变不离其宗的，不见得需要很高级的技术，防传统电信诈骗的手段就很有效。比如一个视频通话里面，对方跟你聊到了金钱的事情，提到了转账，你可能就要提高警觉了，这可能是一个假视频，需要多方核实一下。

所以，不知道有这个技术的存在才是可怕的。目前已经有一些爱好者制作了很多样例，你会看到各种社交平台出现了大量这种技术的创造性应用。大众看到后就会理解，现在的技术可以做到什么程度。这在某种意义上是教育了更多的人，让他们有这个认知。我们无法阻止技术的进步，让民众了解AI技术的发展现状，才能更好地预防其潜在危害。

NBD：您认为生成式人工智能未来最适合的应用场景有哪些？

张卫明：未来可能有很多正向的且比较有趣的应用，最典型的是在娱乐领域，比如游戏、影视剧等等。

其实我在课堂上，曾经让一年级本科生去畅想未来这个技术可能会怎么应用。与社会层面更多关注这一技术的风险所不同的是，年轻学生们认为它的正面想象空间更大。

以影视娱乐为例，他们畅想可以去换脸体验演大片。或者在角色扮演型游戏中，通过实时换脸、VR等技术，能以自己的声音、自己的脸进入到游戏里去。

还有就是心理治疗。如果能用这些技术，重现一个人或一个场景的话，可能对心理治疗会很有帮助。再有就是在线教育。通过换脸等技术，让自己特别喜欢的老师，给自己讲各种课，让自己“听得进去”更“学得进去”。

还有一个应用是新时代的红色文化宣传、科学家精神宣传。我们最近做了一个尝试，发布了数字人钱学森，逼真度很高。钱老数字人发布以后，好评如潮，很多媒体都报道并转载了相关视频。这也让我意识到，做科学家精神宣传、红色文化传承，用这种方式可能更适合现在的年轻人，会达到很好的宣传效果，是一个很好的正向应用。

标签：