• 我的订阅
  • 财经

春节临近警惕“AI诈骗” 识别AI造假,用“魔法”打败“魔法”

类别:财经 发布时间:2024-02-07 15:22:00 来源:中国江苏网

春节临近,AI诈骗手法出现新花样。随着生成式AI的迅速发展,全新的深度合成技术(Deepfake)不仅能“模仿我的脸”,还能“模仿我的声音、表情和动作”。如何“以技术规制技术”、更好地保护我们的个人信息和“钱袋子”引发关注。

眼见未必为实,“AI换脸”门槛降低

前不久,家住苏州市相城区的刘女士接到“国外留学的女儿”的电话,电话中“女儿”的声音以假乱真,并声称自己在国外被绑架,要求向指定账户汇款。慌忙之中,刘女士转走了钱款,后报警求助,在民警的提醒下,刘女士才意识到这是一起“AI诈骗”。

利用AI制作虚假图文的事件早已有之,如今,利用深度合成技术,AI造假再度升级。

深度合成技术,是一种基于人工智能和机器学习的技术,其原理是通过训练深度神经网络来学习目标对象的特征,生成“以假乱真”的虚拟视频或图像。早在2017年底,美国Reddit论坛上一个名为“Deepfakes”的用户利用人物图像合成技术制作了一系列移花接木的明星“换脸”视频,逼真的“换脸”技术首次进入大众视野,引发了大量社会舆论。

近日,美国知名女歌手泰勒·斯威夫特成为人工智能深度伪造的又一个受害者。由AI生成的这位明星的虚假照片在国外社交媒体平台上疯传,由于不能及时删除这些照片,社交平台X(前推特)一度封锁了对泰勒·斯威夫特的相关搜索。

将目标对象的面部“嫁接”到被模仿对象上,如何实现?南京邮电大学自动化学院助理教授谢九成告诉《科技周刊》记者,视频是由连续的图片组成,所以只需要把每一张图片中的脸替换,就能得到“换脸”的新视频。深度合成技术和开源平台让这一过程实现自动化,也降低了“AI换脸”技术的“门槛”。

近年来,深度合成技术的发展十分迅速,除AI换脸,还包括语音模拟、人脸合成、视频生成等,在影视、通信、医疗等领域也呈现了许多积极应用。在2023年上映的《流浪地球2》中,电影的视效团队采用了人工智能技术,让70后演员吴京在电影中返老还童,呈现出21岁“小鲜肉”的样貌。类似商业化产品层出不穷,如去年“火出圈”的小程序“妙鸭相机”,只要用户上传8张自己的照片,即可生成精修写真照,甚至能“反转性别”。

然而,当深度合成技术遭到不法分子的恶意使用后,又会展现出“另一面”。“不断发展的生成式智能技术,确实对原有网络安全技术带来了一定挑战。”在江苏省法学会数字法学研究会副会长、东南大学法学院副教授徐珉川看来,目前我们经常使用的部分APP中采用的面部识别技术相对陈旧,这需要法律对面部识别技术应用的安全性提出强制性的要求,使用面部识别相关技术进行安全认证的企业,应该承担更高的安全保障义务。

AI造假与打假,以技术规制技术

今年1月,《自然》杂志公布了2024年最值得关注的七项创新科技,入选其中的就有华人科学家、纽约州立大学布法罗分校计算机系教授吕思伟团队开发的深度伪造检测技术。该团队开发的算法,可以从不同角度分析视频内容以识别深度伪造内容。

不过,人工智能的造假与打假,将是一场“持久战”。应对深度合成技术引发的安全盲区,以技术规制技术、“用魔法打败魔法”,成为产品侧、制造侧发展的必然趋势。

“早期的换脸视频,由于技术不成熟,尚且存在表情不自然、面部边缘有锯齿等问题,但现在的技术在逼真度、流畅度上都大有提升,鉴别的方式也需要不断更新。”谢九成提醒,对于“换脸”视频,也是有一些窍门来应对的。虽然深度合成技术很强大,但生成的人脸在细节上存在很多不足。有研究人员提出利用真假脸的不一致性来区分,如新的人脸的生成,图像的数据点插值是随机的,会导致全局眼睛的左右颜色、鼻子的左右色彩等不一致;其次,篡改区域和正常区域对光照的反射不一样,如眼睛区域,深度合成生成的视频大多会丢失眼睛反射细节。

从技术端来说,如何加强深度合成技术的安全性并识别出伪造的信息,需要从多个方面入手。苏州大学未来科学与工程学院副院长王进教授建议,研发人员可以引入水印技术,在生成图像或视频时,加入独特的水印,以标识其真实来源和内容,这种水印可以是数字签名、加密标签或特定的标记,用于验证图像或视频的真实性,这一方法已经被许多AI内容生成平台采用。

此外,也可以建立第三方验证机制,对图像或视频的真实性进行验证,这种机制可以由权威机构或专业公司来建立和维护。在国内,清华大学、中科大等高校科研院所均在深度合成检测方面取得显著成果。不少企业机构也已发布针对性的检测产品,支持对多种换脸方法进行检测。

面临信息安全隐患,普通人也并非束手无策。王进提醒,“最关键的是提高警惕性,保护个人隐私。比如不随意在网上或朋友圈发布包含自己人脸的图片,不要随意在一些非官方的网站上提交照片、把个人照片发给不熟悉的人等。同时,还要警惕虚假中奖信息和钓鱼网站,不点击可疑链接、下载不明附件等,也要注意防范自己的电子设备被非法改装成偷拍设备。”此外,在收到家人朋友的视频通话时,如果谈及隐私信息,可以让视频中的人做一些复杂动作,比如张大嘴巴、扮鬼脸等,或是用手来回多次在人脸前摆动观察人脸是否出现形变,这些方法都是适用的。

终结“猫鼠游戏”,“技术+治理”双管齐下

用技术手段解决人工智能技术带来的造假问题,是“以子之矛,攻子之盾”,有科研人员推测,用以识别造假的AI检测技术会反过来被不法分子利用,以训练AI使其绕过检测。完全通过技术手段解决问题,终究会让我们陷入一个“猫鼠游戏”的怪圈,防治人工智能的不法使用,还需“技术+治理”双管齐下。

在2022年,我国颁布的《互联网信息服务深度合成管理规定》就划定了深度合成技术的使用规范,包括不得利用深度合成服务侵犯他人合法权益等法律规定。去年,《生成式人工智能服务管理暂行办法》已正式施行,要求生成式人工智能服务提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。

南京邮电大学高质量发展评价研究院院长助理、副教授金巍表示,数字经济时代,加强对公民个人信息的保护,已成为与你我息息相关的新的法治需求之一。“一方面,企业和平台不能隐藏在‘避风港’中,要积极承担社会责任。在搜集与利用个人信息时应自觉遵守法律规范,并自觉肩负起保护隐私安全的重任。另一方面,相关管理部门还应加快信息治理体系与信息治理能力建设,并发挥主导作用,实现市场的健康发展。”

金巍建议,国家应加快出台并完善人脸识别数据管理专项法律,规范人脸识别数据采集、存储和应用,并加强行政监管机制建设,构建专业的个人信息保护体系,健全行业自律监管机制。

“目前的管理规定更多的还是体现为行政管理性的规则,总体较为宏观。针对新技术的新发展和新实践,相关规定仍有待在民事责任界定、法律风险配置等方面做进一步的细化,与现有个人信息保护、知识产权、反不正当竞争等法律法规的衔接和协同也需要继续加强。”徐珉川认为,运用生成式智能在内容生产上进行创新,是当下文化产业的发展大趋势,合法、合理运用技术进行内容创新,需要重点针对技术服务提供者,需要“警钟长鸣”。

智能时代的网络安全问题必然高于前智能时代,但正如我国当前立法所确定的审慎包容原则,对新技术不能因噎废食,抓好关键节点是治理人工智能安全风险的核心。

“大模型基础上的人工智能产业具有自然垄断特性,一方面要积极培育龙头企业,实现人工智能产业链的成熟和稳定;另一方面以压实头部平台主体责任为抓手,治理好关键少数,形成‘宽严相济’的智能化技术利用良好市场环境。”徐珉川表示。

记者 杨易臻 叶真

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-02-07 18:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

AI诈骗效率高、成本低 “三个魔法”有效防范潜在威胁
...AI生成虚假信息所潜在的巨大社会风险,同时也让我们对人工智能软件被用于各类犯罪活动的可能性深感忧虑。在人工智能技术的兴起之时,我们正处于寻找最佳应用场景与商业落地的关键期。虽
2023-05-31 10:44:00
潮声丨浙江首例利用ChatGPT制作假视频案,嫌犯竟是她
潮新闻消息 7月6日,被视为全球AI行业风向标的世界人工智能大会在上海开幕,从大模型、芯片到机器人,大会集中展示了当前人工智能技术在各领域的赋能“进度表”。人工智能引领新一轮科技
2023-07-08 14:26:00
...安全形势、共享网络安全理念、共商网络安全对策。随着人工智能的出现,网络信息技术迭代升级加速,网络安全领域新情况、新问题、新挑战层出不穷,影响全球经济格局、发展格局、安全格局,
2023-08-31 07:28:00
从智能售票到全方位体验:2026FIFA世界杯的“AI进化论”
...心潮澎湃。首届AI世界杯:从概念到落地的“技术大考”人工智能对世界杯的影响远不止于票务,更深入赛场内核。2022年卡塔尔世界杯首次启用的半自动越位系统(SAOT)便是AI应用
2025-09-11 12:16:00
科幻照进现实|“成都造”语音AI芯片为生活带来“魔法”,川普它也听得懂
...事实上,这样的产业链条正在成都不断发展,一批批聚焦人工智能、云计算、虚拟现实、数字孪生等高新科技、前沿科技的企业正在成都加速布局。今年10月,第81届世界科幻大会将在成都举办
2023-09-04 11:51:00
...AI换脸精准诈骗难以防范 全国人大代表建议推进立法强化人工智能技术安全应用□ 本报记者赵晨熙□ 本报实习生郝嘉伟在网络时代,眼见并不一定为“实”,也有可能是诈骗分子正在利用A
2024-04-09 01:58:00
...供商,一二三物联网将智能传感、微控制器、无线互联、人工智能、云计算、大数据等前沿技术巧妙融合,打造出智能传感器、智能采集网关和专业云平台软件,为用户呈上全方位的物联网行业解决
2025-04-09 18:15:00
月底见!荣耀骁龙8至尊新机定档,配置顶级还有AI魔法
...手机,发布会以“见证AI魔法”为口号,预示着荣耀将在人工智能领域带来前所未有的变革与体验。在智能手机日益同质化的今天,操作系统作为连接硬件与用户的桥梁,其创新能力直接决定了产
2024-10-19 20:01:00
玩转移动AI魔法:AI店员和设计师月薪才……
...键换装!他们的营业额竟暴涨60%!浙江移动通过深度融合人工智能(AI)技术,为传统饰品设计行业插上了智能化的翅膀。这场从“灵感创意”到“量产交付”再到“精准销售”的全链路革命
2025-05-16 12:21:00
更多关于财经的资讯:
和风五载,家暖如初,万科悦城和风轩五周年庆典温情启幕
10月19日,一场以“和风五载,家暖如初”为主题的社区庆典在深圳万科悦城和风轩小区温情启幕。此次活动由和风轩业委会与万科物业联合主办
2025-10-24 14:04:00
贵州省大数据局召开“十五五”数据领域规划编制专家建言座谈会
10月21日,省大数据局召开“十五五”数据领域规划编制专家建言座谈会,局党组书记、局长,兼省人民政府副秘书长朱宗尧参加会议并讲话
2025-10-24 14:18:00
国内首次!中国重汽鼎力护航“朱雀三号”问天之路!
近日,朱雀三号遥一运载火箭飞行试验任务已顺利完成第一阶段工作。在这项重大工程的背后,存在各种极限挑战——从嘉兴到酒泉,近四千公里的漫漫征途
2025-10-24 14:28:00
敬老月活动惠老专享,华联超市8折优惠
责任编辑:卢芸竹
2025-10-24 14:33:00
上海电气等成立储能科技公司,含电池制造业务
近日,临沂储能科技有限公司成立,法定代表人为杨霖霖,注册资本为6000万元,经营范围包含:电池零配件生产;电池零配件销售
2025-10-24 14:36:00
海思科新设医药科技公司,注册资本2亿元
近日,海思科医药科技(拉萨)有限公司成立,法定代表人为段鹏,注册资本为2亿元,经营范围包含:专业设计服务;品牌管理;企业管理
2025-10-24 14:36:00
横琴深合轨道交通投资建设公司注册成立
近日,横琴深合轨道交通投资建设有限公司成立,法定代表人为廖雄华,注册资本为3000万元,经营范围包含:轨道交通运营管理系统开发
2025-10-24 14:36:00
金风科技等在江苏成立风电国创科技公司
近日,江苏风电国创科技有限公司成立,法定代表人为高斯,注册资本为1000万元,经营范围包含:认证服务;检验检测服务;专业设计服务
2025-10-24 14:36:00
米哈游新设科技公司,含数字文化创意软件开发业务
近日,上海天丰嘉成科技有限公司成立,法定代表人为于晨曦,经营范围包含:数字文化创意软件开发;数字文化创意内容应用服务;专业设计服务;文艺创作;信息技术咨询服务等。企查查股权穿透显
2025-10-24 14:36:00
东方电气成立风电新能源公司
近日,东方风电(安顺)新能源有限公司成立,法定代表人为王一哲,经营范围包含:发电业务、输电业务、供(配)电业务;风力发电机组及零部件销售
2025-10-24 14:36:00
蔚能电池在海南成立电池科技公司,注册资本6000万
近日,蔚能(澄迈)电池科技有限公司成立,法定代表人为赖晓明,注册资本为6000万元,经营范围包含:电动汽车充电基础设施运营
2025-10-24 14:36:00
保利集团新设科技公司,含智能无人飞行器制造业务
近日,坡镭(江西)科技有限公司成立,法定代表人为谈家新,注册资本为1000万元,经营范围包含:人工智能公共数据平台,人工智能通用应用系统
2025-10-24 14:36:00
金山云海南子公司增资至6亿美元
近日,金山云(海南洋浦)信息科技有限公司发生工商变更,注册资本由5亿美元增至6亿美元,增幅20%。企查查显示,该公司成立于2022年8月
2025-10-24 14:36:00
庄园牧场投资成立农垦乳业研究公司
近日,甘肃农垦乳业研究有限公司成立,法定代表人为陶生俭,注册资本为1000万元,经营范围包含:乳制品生产;生鲜乳收购;饮料生产;食品销售;食品经营管理;检验检测服务等。企查查股权
2025-10-24 14:36:00
豆包联动七家国家一级博物馆,打造AI看展新体验
近日,字节跳动旗下豆包与中国国家博物馆、中国钱币博物馆、河南博物院、山东博物馆、安徽博物院、成都博物馆以及洛阳博物馆七家国家一级博物馆达成合作
2025-10-24 14:42:00