提防“眼见不为实”滥用文生视频或引发诈骗

本文转自：广州日报

提防“眼见不为实”

滥用文生视频或引发诈骗

业内人士：技术和管理上都须划定“安全界限”

Sora带来的技术变革将深刻改变人们的生活。与此同时，“文生视频”也会带来技术风险和道德风险，专家表示，要防止这一技术被不法分子利用来诈骗。

文/广州日报全媒体记者 肖欢欢

著名人工智能研究专家王咏刚表示，现在“眼见不为实”的东西已经挺多了，Sora又将这种可能性扩大了一个数量级。“像我们今天会遇到大量经过技术美颜的美女帅哥主播，那明天就须适应大量由AI‘拍摄’甚至臆造的视频。现在随处都能看见AI生成的广告文案、招聘信息、产品使用说明书、AI时装模特、AI海报、AI漫画等，AI生成的视频今后必然会广泛进入到我们生活中。未来，或许人人都可以拍摄自己想看的科幻大片，可以在几分钟内为自己的产品生成促销广告片，可以将自己拍摄的城市景观一键渲染成各种繁华风貌……AI视频技术的成熟，可以为生活带来更多的想象空间。”

但王咏刚同时提醒，文本生成视频技术也会带来技术风险和道德风险，这是一把“双刃剑”。“AI被不法分子利用的风险一直存在，比如用AI模拟某个人的声音，AI图片或视频换脸这样的技术，已经被一些不法分子利用。AI视频生成未来也存在此类风险，并且风险更大。比如，有人可能会用文案生成视频来进行犯罪，尤其是针对老年人的犯罪。”

人工智能领域资深科学家王孝宇同样也对文本生成视频技术可能带来的风险表示忧虑。“如果有人掌握了某些人的照片或部分视频片段信息，然后根据文本来生成相关的新视频，再将这些视频用于犯罪，对于这样的风险必须高度警惕。比如，根据老人子女的照片或视频来生成一段新的视频，诸如出车祸之类的影像，以此来对老人进行诈骗，那风险是很大的，毕竟老年人的防范能力较弱。”他表示，文本生成视频技术一旦被推广，那么视频证据的法律效力也会面临更大考验。比如在提交视频证据时，就必须先对视频证据的真伪进行鉴定。

如何防止AI技术被滥用？王咏刚认为必须在几个方面同时努力：首先，科研与工程人员需要在技术层面严格限制AI生成视频时的内容可控性与合规性，利用AI技术识别危险的生成指令，拒绝生成有违法律、道德的视频内容；其次，科研与工程人员需要加紧研发AI视频的甄别技术——本质上，这是一种用AI来判定AI生成结果的技术，或者说是一种“AI对抗”技术；此外，政府在法律和监管层面需要针对新兴的AI技术不断完善相关的立法和执法工作，从管理上为AI技术划定一个“安全界限”。