如何识别AI安全风险？中国工程院院士邬江兴：尽量避免使用单一模型，要交叉验证

参展者登上自行车开始骑行，此时心率计、功率计、踏频器等分别采集数据并上传，屏幕上实时显示骑行距离、速度、心率、踏频等各类隐私数据……

这是在5月17日至19日举行的2024年第十二届西湖论剑?数字安全大会数字安全建设成果展上的一幕。该展位工作人员向记者介绍：“我们通过这种形式来展示数据分类分级的过程，以及在传输中如何借助大模型检测潜在的数据泄漏、恶意攻击等威胁。”

近一段时间以来，以大模型为代表的AI（人工智能）技术持续火爆，在惊喜于大模型的“聪明能干”时，很多人也开始隐隐担忧：当我们在跟大模型对话时，会不会造成个人信息或者商业机密的泄露？AI在带来便捷与红利的同时，还会带来哪些安全方面的挑战？我们又应该如何应对？

带着这些问题，《每日经济新闻》记者在大会期间采访了包括院士、专家学者、网络安全头部企业在内的多位业界人士。

大会现场

摄挑战：数据安全问题日益凸显

随着大模型和生成式AI的兴起，数据安全问题日益凸显。

“一旦交互，肯定会有数据泄漏的风险。比如你的位置、个人喜好会在不经意间被收集。”浙江大学计算机科学与技术学院副教授、杭州市人工智能学会副理事长金小刚接受《每日经济新闻》记者采访时说：“我们使用大模型的方式是跟它对话，收集数据是肯定存在的，这就需要大家最好不去使用信誉不好的企业平台。”

中国科学技术大学公共事务学院、网络空间安全学院教授左晓栋在接受《每日经济新闻》记者采访时表示：“当前，对生成式AI的安全关切是多方面的，包括意识形态安全和数据安全等。”

他举例说，在数据安全方面，生成式AI要依靠数据来训练，但数据如果被污染了怎么办？此外，人工智能在训练中有时要用到个人信息，甚至是商业秘密，相关方的权益该怎么保证？个人是不是有信息权益保护方面的诉求？

意识形态安全方面，生成结果是否符合法律法规的要求？这些数据的使用是否合法？这些也是大家密切关注的。

谈及大模型在数据处理、分析、生成中可能带来的数据泄露、滥用等风险，部网络空间安全2030计划专家组成员、教育部新工科联盟网络空间安全工委会主任委员、俄罗斯国家工程院外籍院士胡瑞敏对每经记者提到了三大安全隐患：数据隐私，包括数据泄露；模型劫持；内容的安全以及合规合法和安全审计问题。

“这就要求安全技术必须跟进，并且和大模型有机结合。”胡瑞敏说，据他了解，国内很多单位已经在开展这方面工作。

风险：“黑模型”已经出现

除了训练、使用大模型带来的安全风险，不法分子还会利用AI深度伪造行骗。事实上，深度伪造技术早已出现，最典型的就是AI换脸。

浙江垦丁律师事务所联合创始人欧阳昆泼在接受《每日经济新闻》记者采访时表示，在AI时代，深度伪造技术的滥用使图片、视频的真伪越来越难鉴别。“深度伪造现在已经产生了很多刑事案件。”

不仅如此，现在已经出现了“黑模型”——基于一些“黑灰产”数据训练出来的大模型，专门用于诈骗、窃取隐私、“钓鱼”等。他举例说，以前要做一个钓鱼软件或者黑客攻击，技术门槛较高，但现在只要输入指令，“黑模型”就可以生成一个钓鱼软件，门槛非常低。

中国电信集团公司原总经理、全球云网宽带协会董事会主席李正茂在大会期间对《每日经济新闻》记者表示：“我们感到现在对电信网络诈骗应对起来比较麻烦，如果AI技术被犯罪分子利用，就会变得更加麻烦。若要依赖第三方帮你甄别，可能还没甄别出来就已经被骗了，这是个大问题，要引起足够重视。”

探索：用AI防控、治理AI成为安全领域的必选项

每经记者注意到，多位专家在演讲或受访中都提到安防领域“道高一尺，魔高一丈”，那么以AI对抗AI是否是一个出路？

对此，中国工程院院士邬江兴对《每日经济新闻》记者表示：“同一个模型，不能自己检验自己，但是可以用别的AI模型来检验你的AI模型。”

安恒信息董事长范渊在接受《每日经济新闻》记者采访时表示，随着AI技术的发展，威胁也愈发凸显。“以AI对AI、以AI管AI是数字治理的必然趋势。AI让网络攻击的门槛更低，更难以防范。用AI来防控和治理AI，正在成为安全领域的必选项。”

范渊提到，现在很多地方开放公共数据去训练和支持人工智能产业，但同时又很担心会带来数据和隐私的泄露。基于机密计算的大模型训练与推理，让这些问题得以解决。

他还提到，在内容安全方面，也有很多大模型的注入，内容的输入、输出安全，都是非常具有挑战的部分，数据安全、模型安全、应用安全，这些都是让人工智能更安全的重要部分。“一方面是如何及时发现与阻断虚假内容；另一方面是防止侵犯知识产权、敏感数据泄露以及如何防御提示词的注入、提示词的绕过等。”

AI还可以提升安全问题的解决效率。范渊举例说，之前600人/天的数据分类分级项目，结合AI大模型“恒脑”知识库、相关语义识别能力、关联推理能力，以及站在业务视角的字段理解与注释，可以协助人工快速决策判断，最后只用20人/天就完成了，效率提升30倍。

范渊坦言，也有很多顽疾始终没有解决。“产品不够、服务来凑，海量告警数据需要靠海量的人去解决。”

“但是AI为这个行业、为数字化建设带来了巨大变革。”范渊直言，AI可以把几百万个告警数量减少到几万个，从几万个当中智能甄别哪些不构成威胁或不需要处理，解决了误报、待优化的内容，以及分辨可防御的、已经防御完成的告警，最后只留下少量告警需要人工研判，这是人力可处理的。

不过，在金小刚看来，AI永远是工具，最终起作用的还是人。“在安全问题上我永远主张创新才是真正解决问题的方法。”

应对：多维度、多种AI系统交叉印证

对于AI带来的安全风险，我们如何应对？

邬江兴对每经记者表示，AI目前在科学上具有不可解释性，我们没办法对它的数学、物理性质作出解释，这是它基本原理上的缺陷，所以很多人想利用这种缺陷进行不法行为。

“我们现在有个解决办法，就是通过基于内生安全的AI应用系统来解决。”邬江兴说，这种AI应用系统是多维度、多种AI系统的交叉印证，不法分子在某个AI系统上做了手脚，在交叉印证中就会被发现。

“任何人在某一个模型、某一个数据上做手脚是没用的，它可能对A模型有用，但对B模型没用，所以我们用交叉印证来验证。”邬江兴说，就像盲人摸象一样，一个人摸，可能认为象是圆柱体，但是多角度结合起来看才知道象是什么样子。局部的问题我们看不清楚，如果是多个维度看就能看清问题了。

邬江兴演讲 对于不法分子借助AI工具诈骗的行为，邬江兴表示，AI的特异性决定了不法分子可以用某一个模型诈骗，但放在另外的模型下可能就不管用，就像如果不法分子进行黑客攻击，他可以攻击一个模型，但不能同时攻击多个模型。“所以我们要用多样性印证。”

邬江兴反复强调在应用中尽量避免使用单一模型，单一模型如果是在“一本正经地胡说八道”，使用者是不能判断的，但是如果其他模型也是这样的结果，使用者就可以大致有个判断。

“我们不能机会主义地去用那些不安全的AI系统，但也不能理想主义地去用绝对安全的AI系统，因为不可能绝对安全。”邬江兴说，这中间怎么权衡？就是要用多样性来保证。使用几种典型的模型，相互之间进行印证。

对于AI，尤其是深度伪造带来的安全风险，胡瑞敏认为，首先要对智能技术应用做一定约束，要实现可信的智能，对模型的安全等都要进行有效监管；其次，要提升深度伪造的检测技术，应该有全局布局，确保深度伪造的风险可控。

这些鉴别技术普通人是否易得？胡瑞敏表示，我们有很多深度伪造的鉴别技术，很容易做成工具为大众所使用。“当然，由于智能技术发展非常快，也越来越成熟，这也给鉴别技术提出了新的要求。”