人工智能：反诈新利器

道高一尺、魔高一丈，人工智能造假和人工智能打假将是一个持续攻防迭代的过程。

《瞭望东方周刊》记者史佳庆编辑陈融雪

生成式人工智能内容检测平台DeepReal，可鉴别AI换声、AI换脸等伪造内容

据新加坡8频道11月1日报道，印尼政府部门日前专门澄清了一段印尼总统佐科“说中文”的视频，称其是深度伪造视频。

网络上的信息来源众多，鱼龙混杂，真假难辨，人工智能会如何检测网络虚假信息？

近日，国家金融监督管理总局北京监管局提示了三类新型骗局：校园贷款连环套、“AI 换脸”和冒充监管行骗，并发布风险提示，树立反诈防骗意识，谨防新型欺诈手段，提高打假维权本领，守护财产安全。

在全球化时代，社交媒体成了滋生虚假信息的温床，凭借一段原始语音、一张原始图片，犯罪分子就可以编造出一段真假难辨的谣言。

2023年10月11日，全国信息安全标准化技术委员会官网发布《生成式人工智能服务安全基本要求（征求意见稿）》，这是国内首个专门面向生成式AI安全领域的规范意见稿，也是对2023年7月推出的《生成式人工智能服务管理暂行办法》的支撑。

“随着技术的发展，生成式人工智能可以低成本快速制作以假乱真的视频和画面，推翻了人们眼见为实的传统认知。”北京瑞莱智慧科技有限公司联合创始人、算法科学家萧子豪告诉《瞭望东方周刊》，道高一尺、魔高一丈，人工智能造假和人工智能打假将是一个持续攻防迭代的过程。

金融诈骗多发

不法分子利用人工智能技术进行违法犯罪活动，给网络安全带来了严峻挑战。

2023年9月，江苏省昆山市市民王先生接到公安局反诈中心96110的来电，当时他因为做生意需要资金，正在某贷款App上填写资料。接完电话，他立即打消了从网络平台贷款的念头。电话那头及时劝住他的警官，正是AI反诈民警“鹿小安”。

据了解，通过大数据智能分析，AI民警可以快速识别正在进行的疑似诈骗行为，形成预警信息推送给一线反诈民警。这位AI民警可以根据上下文和市民进行有效沟通，其“聪明程度”不亚于人工电话员，但拨打效率却大大提升。目前，“鹿小安”的数据库已经深度打磨各类精准反诈话术，可做到反诈场景全覆盖。

在这个日益数字化的时代，人们在网络上的活动越来越频繁，几乎每个人每天都在生成大量的数字化信息。这为诈骗者提供了广阔的操作空间，他们可以利用网络平台，配合人工智能技术，进行大规模、精准的诈骗行为。而金融，就是诈骗犯罪的重灾区。

对此，萧子豪表示，北京瑞莱智慧科技有限公司研发的人脸AI安全防火墙RealGuard，能够在金融和政务等行业应用场景中，帮助系统有效防范以AIGC（Artificial Intelligence Generated Content，即人工智能生成内容）换脸为首的各类新型人脸攻击，比如对抗样本攻击、深度伪造换脸、照片活化等，能够实时发现恶意人脸图像，同时支持移动端安全风险监测。

据介绍，线上银行的人脸认证被破解后，常被用于非法转账等违法犯罪行为。

“而RealGuard可广泛适用于采用人脸识别系统的全部场景，如远程银行开户、身份核验、刷脸支付等，能够对当前业内基于开源或自研的人脸识别算法做安全补充，精准识别新型人脸识别攻击手段，弥补早期人工智能算法系统存在的安全问题。”萧子豪说。

目前，RealGuard已在金融、政务、互联网等行业众多头部企业落地应用，为人脸识别筑牢安全防线，及时跟踪黑产攻击动态，帮助用户应对各类安全威胁。

例如，在某地区政务相关的民生应用程序中，该人脸AI安全防火墙每天都对50万次人脸识别校验进行防护，半年来有效拦截恶意换脸攻击数万条，阻断了多起冒名顶替的工商注册、市场监督、信用服务等多种线上人脸身份验证的风险。

警惕AI 换脸诈骗短片视频截图（图片源自北京市公安局西城分局）

警惕“AI诈骗潮”

2019年，全球首例AI诈骗案发生在英国，一名诈骗者利用先进的AI语音模仿软件，假扮公司高层，成功骗取了一家英国能源公司总经理的22万欧元。

随着AI技术加速迭代，涉诈风险也在积聚。

2023年5月8日，内蒙古包头警方通报一起利用AI实施诈骗的案件，福州市某公司法定代表人郭先生在使用微信与好友视频聊天的短短10分钟内被骗取了高达430万元。据通报，不法分子通过AI换脸和拟声技术，佯装熟人实施诈骗。

该案披露后，不少报道称需警惕“AI诈骗潮”，并曝光多起类似案件。如江苏常州的小刘被骗子冒充其同学发语音、打视频电话，小刘看到视频后信以为真，“借”了6000元给骗子。

这些骇人听闻的案例揭示了人工智能生成虚假信息所潜在的巨大社会风险，同时也让人们对人工智能软件被用于各类犯罪活动的可能性深感忧虑。

据统计，新浪微博在2022年处理的虚假信息超过8万条。2023年以来，已有“中国电科员工不满强制加班‘怒怼’领导”等虚假信息在网络上引起热议。谣言层出不穷，单靠人力排查效率明显不足。

2023年6月，绍兴上虞区警方发现有网民发布了关于上虞工业园区发生火灾的视频，浏览量在短时间内迅速上升。视频中，上虞区一工业园区内火势猛烈，整个园区被浓烟覆盖，现场不时传出爆炸声，场面惊心动魄。

民警核查发现，视频中的建筑、森林大火场景，并非该工业园真实场景，并且疑似源自其他视频。经分析，民警判断该视频是利用人工智能合成技术，将网络上多段不同视频剪辑拼接而成。警方经侦查，认定某网络科技公司员工有较大作案嫌疑，立刻赴该公司所在地抓获包括汤某在内的3名犯罪嫌疑人。

上虞区分局民警沈林丰介绍，犯罪嫌疑人首先在网上搜集热门话题，通过生成式人工智能技术自动生成脚本，并在网上抓取相关视频片段，利用AI软件合成完整视频，配上音乐、字幕。不到一分钟，一段虚假视频便“新鲜出炉”。

对此，北京市天元律师事务所合伙人杨虎城表示，老话说“眼见为实”，但今后眼睛看到的也不一定是真实的。未来，涉及人工智能合成技术的诈骗、敲诈勒索等违法犯罪和肖像、名誉等民事侵权问题，值得防范。

2022年10月22日， 北京地铁一号线，反电信网络诈骗专用号码96110的公益宣传广告

AI辨真假

随着AIGC领域各种技术的开源，生成式人工智能走进各行各业的场景。当人们的肉眼无法分辨音视图文等内容是否由人工智能生成时，人工智能打假平台可以将其识别。

究其原理，生成式大模型本质上依托于一个参数量巨大的神经网络模型，在训练数据的过程中进行模型的推理。

“我们在训练模型时，会将一些数据通过生成的方式为其打上标签，告诉它哪些数据是真实的数据，哪些是假的数据。通过这种方式，我们可以让模型进行直接的输出，判断真假。”萧子豪举了一个例子：伪造的图片往往会在热力图上露出马脚——真实图片的热力图无热力区域，而伪造图片会显示有热力区域。

2023年1月，在中国信息协会区块链专业委员会的指导下，SAFEIS安全研究院发布《2022年区块链安全白皮书》，显示2022年区块链安全事件涉事总金额超过753亿美元。

区块链技术背景下，虚拟货币去中心化、匿名性、交易便捷等特性及反追踪技术的不断升级，增加了执法机关的办案难度。如何快速识别嫌疑人真实身份、迅速追踪资金去向、极速跟上资金转移速度，是办案过程中亟待解决的几个核心难题。

“将人工智能引擎与链上大数据分析技术结合，应用到案件追踪系统中，能够极大提高案件的侦破速度。案件追踪系统可以自动分析和提取海量链上数据，将复杂的资金流向以可视化的网状图和树状图呈现出来，使执法人员快速掌握案件的关键信息。”北京大数据研究院产业发展部主任蔡晓告诉《瞭望东方周刊》。

据蔡晓介绍，案件追踪系统通过深度学习、分析海量案件模型，可以发现人工难以察觉的规律，再借助资深业务知识，可协助侦查人员准确判断案情并锁定犯罪目标，找出最终的链上地址并识别该地址的交易场所。

目前，深度伪造技术也在不断自我优化、升级迭代，生成的声音越来越自然流畅，视频也越来越逼真，当我们无法及时使用打假平台辨别真伪时，可以怎么办？

萧子豪给出了妙招：“如果遇到疑似AI换脸诈骗的情况，可以在视频时有意识地引导对方做一些动作，如：大幅度地摇头或张嘴。如果骗子技术手段较弱，那么我们就可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。不过，这个方法对于识别出‘高水平’的不法分子，还存在难度。”

近年来，生成式人工智能技术快速发展，为经济社会发展带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题。如何统筹生成式人工智能的发展和安全，引起各方关注。

2023年7月10日，国家互联网信息办公室、国家发展和改革委员会等七部门联合发布《生成式人工智能服务管理暂行办法》（以下称《办法》），自2023年8月15日起施行。出台《办法》，既是促进生成式人工智能健康发展的重要要求，也是防范生成式人工智能服务风险的现实需要。

随着大模型应用越来越多，安全漏洞也在不断增加。萧子豪表示，人工智能有三个维度的风险：首先是算法本身；其次是数据泄露；第三是应用的问题。确保算法安全、数据安全，以及在应用中进行防御和检测，变得尤为重要。

同样重要的还有，在人工智能逐渐成为人们生活和工作中不可或缺的部分之际，防止AI技术滥用。

“为防止AI技术滥用，所有的人工智能软件上线之前，都要通过严格的审查，才能安全上线；上线之后，相关机构也要对其运行情况进行不定时审查。”萧子豪告诉《瞭望东方周刊》，目前，我国正在推进审查工作。

事实上，关于如何确保人工智能技术的健康发展和应用，众多企业、研究机构以及监管者也在努力探索解决方案。

清华大学人工智能国际治理研究院副院长梁正表示，对公司来讲，最佳解决方案是在产品上标注“识别标记”，比如数字水印，核心是对平台产生的内容做标注——首先，可以识别这条内容是人工智能生成的、并不是人类创作的；其次，可以识别这条内容是在哪个平台生成的，由哪个用户生成并传播出去的。这样，有清晰的追溯链条，就能更清晰地定义责任人。

据介绍，目前，OpenAI已经这样做了，推出了AI识别的工具。

中国互联网协会监管支撑部主任郝智超建议，人工智能技术发展需要相关法律法规来划红线、踩刹车，需要进一步加强对个人隐私数据泄露问题的关注，明确信息监管红线，对人工智能技术的研发、传播、使用做到有规可循，并根据技术发展实际情况，及时完善对技术服务商行为的规范引导。

“技术是一把双刃剑。如何控制技术向善除恶，是一个需要不断学习的课题。”萧子豪说。

（本刊实习生傅熙雯对此文亦有贡献）

来源：新华社