春节临近警惕“AI诈骗” 识别AI造假，用“魔法”打败“魔法”

春节临近，AI诈骗手法出现新花样。随着生成式AI的迅速发展，全新的深度合成技术（Deepfake）不仅能“模仿我的脸”，还能“模仿我的声音、表情和动作”。如何“以技术规制技术”、更好地保护我们的个人信息和“钱袋子”引发关注。

眼见未必为实，“AI换脸”门槛降低

前不久，家住苏州市相城区的刘女士接到“国外留学的女儿”的电话，电话中“女儿”的声音以假乱真，并声称自己在国外被绑架，要求向指定账户汇款。慌忙之中，刘女士转走了钱款，后报警求助，在民警的提醒下，刘女士才意识到这是一起“AI诈骗”。

利用AI制作虚假图文的事件早已有之，如今，利用深度合成技术，AI造假再度升级。

深度合成技术，是一种基于人工智能和机器学习的技术，其原理是通过训练深度神经网络来学习目标对象的特征，生成“以假乱真”的虚拟视频或图像。早在2017年底，美国Reddit论坛上一个名为“Deepfakes”的用户利用人物图像合成技术制作了一系列移花接木的明星“换脸”视频，逼真的“换脸”技术首次进入大众视野，引发了大量社会舆论。

近日，美国知名女歌手泰勒·斯威夫特成为人工智能深度伪造的又一个受害者。由AI生成的这位明星的虚假照片在国外社交媒体平台上疯传，由于不能及时删除这些照片，社交平台X（前推特）一度封锁了对泰勒·斯威夫特的相关搜索。

将目标对象的面部“嫁接”到被模仿对象上，如何实现？南京邮电大学自动化学院助理教授谢九成告诉《科技周刊》记者，视频是由连续的图片组成，所以只需要把每一张图片中的脸替换，就能得到“换脸”的新视频。深度合成技术和开源平台让这一过程实现自动化，也降低了“AI换脸”技术的“门槛”。

近年来，深度合成技术的发展十分迅速，除AI换脸，还包括语音模拟、人脸合成、视频生成等，在影视、通信、医疗等领域也呈现了许多积极应用。在2023年上映的《流浪地球2》中，电影的视效团队采用了人工智能技术，让70后演员吴京在电影中返老还童，呈现出21岁“小鲜肉”的样貌。类似商业化产品层出不穷，如去年“火出圈”的小程序“妙鸭相机”，只要用户上传8张自己的照片，即可生成精修写真照，甚至能“反转性别”。

然而，当深度合成技术遭到不法分子的恶意使用后，又会展现出“另一面”。“不断发展的生成式智能技术，确实对原有网络安全技术带来了一定挑战。”在江苏省法学会数字法学研究会副会长、东南大学法学院副教授徐珉川看来，目前我们经常使用的部分APP中采用的面部识别技术相对陈旧，这需要法律对面部识别技术应用的安全性提出强制性的要求，使用面部识别相关技术进行安全认证的企业，应该承担更高的安全保障义务。

AI造假与打假，以技术规制技术

今年1月，《自然》杂志公布了2024年最值得关注的七项创新科技，入选其中的就有华人科学家、纽约州立大学布法罗分校计算机系教授吕思伟团队开发的深度伪造检测技术。该团队开发的算法，可以从不同角度分析视频内容以识别深度伪造内容。

不过，人工智能的造假与打假，将是一场“持久战”。应对深度合成技术引发的安全盲区，以技术规制技术、“用魔法打败魔法”，成为产品侧、制造侧发展的必然趋势。

“早期的换脸视频，由于技术不成熟，尚且存在表情不自然、面部边缘有锯齿等问题，但现在的技术在逼真度、流畅度上都大有提升，鉴别的方式也需要不断更新。”谢九成提醒，对于“换脸”视频，也是有一些窍门来应对的。虽然深度合成技术很强大，但生成的人脸在细节上存在很多不足。有研究人员提出利用真假脸的不一致性来区分，如新的人脸的生成，图像的数据点插值是随机的，会导致全局眼睛的左右颜色、鼻子的左右色彩等不一致；其次，篡改区域和正常区域对光照的反射不一样，如眼睛区域，深度合成生成的视频大多会丢失眼睛反射细节。

从技术端来说，如何加强深度合成技术的安全性并识别出伪造的信息，需要从多个方面入手。苏州大学未来科学与工程学院副院长王进教授建议，研发人员可以引入水印技术，在生成图像或视频时，加入独特的水印，以标识其真实来源和内容，这种水印可以是数字签名、加密标签或特定的标记，用于验证图像或视频的真实性，这一方法已经被许多AI内容生成平台采用。

此外，也可以建立第三方验证机制，对图像或视频的真实性进行验证，这种机制可以由权威机构或专业公司来建立和维护。在国内，清华大学、中科大等高校科研院所均在深度合成检测方面取得显著成果。不少企业机构也已发布针对性的检测产品，支持对多种换脸方法进行检测。

面临信息安全隐患，普通人也并非束手无策。王进提醒，“最关键的是提高警惕性，保护个人隐私。比如不随意在网上或朋友圈发布包含自己人脸的图片，不要随意在一些非官方的网站上提交照片、把个人照片发给不熟悉的人等。同时，还要警惕虚假中奖信息和钓鱼网站，不点击可疑链接、下载不明附件等，也要注意防范自己的电子设备被非法改装成偷拍设备。”此外，在收到家人朋友的视频通话时，如果谈及隐私信息，可以让视频中的人做一些复杂动作，比如张大嘴巴、扮鬼脸等，或是用手来回多次在人脸前摆动观察人脸是否出现形变，这些方法都是适用的。

终结“猫鼠游戏”，“技术+治理”双管齐下

用技术手段解决人工智能技术带来的造假问题，是“以子之矛，攻子之盾”，有科研人员推测，用以识别造假的AI检测技术会反过来被不法分子利用，以训练AI使其绕过检测。完全通过技术手段解决问题，终究会让我们陷入一个“猫鼠游戏”的怪圈，防治人工智能的不法使用，还需“技术+治理”双管齐下。

在2022年，我国颁布的《互联网信息服务深度合成管理规定》就划定了深度合成技术的使用规范，包括不得利用深度合成服务侵犯他人合法权益等法律规定。去年，《生成式人工智能服务管理暂行办法》已正式施行，要求生成式人工智能服务提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。

南京邮电大学高质量发展评价研究院院长助理、副教授金巍表示，数字经济时代，加强对公民个人信息的保护，已成为与你我息息相关的新的法治需求之一。“一方面，企业和平台不能隐藏在‘避风港’中，要积极承担社会责任。在搜集与利用个人信息时应自觉遵守法律规范，并自觉肩负起保护隐私安全的重任。另一方面，相关管理部门还应加快信息治理体系与信息治理能力建设，并发挥主导作用，实现市场的健康发展。”

金巍建议，国家应加快出台并完善人脸识别数据管理专项法律，规范人脸识别数据采集、存储和应用，并加强行政监管机制建设，构建专业的个人信息保护体系，健全行业自律监管机制。

“目前的管理规定更多的还是体现为行政管理性的规则，总体较为宏观。针对新技术的新发展和新实践，相关规定仍有待在民事责任界定、法律风险配置等方面做进一步的细化，与现有个人信息保护、知识产权、反不正当竞争等法律法规的衔接和协同也需要继续加强。”徐珉川认为，运用生成式智能在内容生产上进行创新，是当下文化产业的发展大趋势，合法、合理运用技术进行内容创新，需要重点针对技术服务提供者，需要“警钟长鸣”。

智能时代的网络安全问题必然高于前智能时代，但正如我国当前立法所确定的审慎包容原则，对新技术不能因噎废食，抓好关键节点是治理人工智能安全风险的核心。

“大模型基础上的人工智能产业具有自然垄断特性，一方面要积极培育龙头企业，实现人工智能产业链的成熟和稳定；另一方面以压实头部平台主体责任为抓手，治理好关键少数，形成‘宽严相济’的智能化技术利用良好市场环境。”徐珉川表示。

记者 杨易臻 叶真