用AI守护AI图像内容安全

本文转自：青年报

今年以来，多个图像生成软件在全球迅速蹿红，其作画逼真程度“技惊四座”。AI一路“狂飙”，让生成、篡改等多形式的图片伪造的门槛变得更低，由此引发的隐患也令人忧虑。

“聊天记录里的截图是真实的吗？眼见未必为实。”图像是信息的主要载体之一，利用AI进行图像造假的行为，是AI可信化发展需要应对的重点问题。在昨天由中国信息通信研究院承办的主题为“多模态基础大模型的可信AI”的世界人工智能大会专项论坛上，演讲嘉宾、合合信息智能创新事业部总经理唐琪分享了合合信息AI图像安全技术方案。据悉，该方案可精准定位截图篡改痕迹，对生成式图片进行智能判别，防止不法分子利用技术手段非法爬取图片上的信息。

青年报首席记者范彦萍

AI图像篡改检测“黑科技”优化升级

今年，AI图像篡改检测“黑科技”持续优化升级，应用面也拓展至“截图篡改检测”。相较于去年的自然场景图像，对用户生活影响更大的资质证书、文档合同、银行保单等截图若被不法分子利用，所承受的财产损失难以估量。

据唐琪介绍，升级后的AI图像篡改检测技术可检测包括转账记录、交易记录、聊天记录等多种截图，无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段，还是“擦除”“重打印”等方式，图像篡改检测技术均可“慧眼”识假。

该技术的主要难点在于，与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差异，难以通过拍照时产生的成像差异进行篡改痕迹判断，现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征。

唐琪介绍说，合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，结合图像本身的信息，包括但不限于噪声、频谱等，从而捕捉到细粒度的视觉差异，达到高精度鉴别效果。

针对频上热搜的AIGC话题，合合信息研发了关于AI生成图片鉴别技术，用于判断图片是否由AI生成。AIGC生成图像识别的一大难点在于AI生成的图像场景繁多，机器难以判别。合合信息基于空域与频域关系建模，能够利用多维度特征来分辨真实图片和生成式图片的细微差异。

“此外，我们还对OCR对抗攻击技术展开了创新性的研究。”唐琪分享道，当人们在网上发送含有个人信息的图片时，很可能被不法分子使用OCR技术识别提取并泄露，OCR对抗攻击技术可对场景文本或者文档内文本进行扰动，为个人或企业的重要文件“上锁”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，降低数据泄露的风险，达到保护隐私信息的目的。

推动图像内容安全行业发展标准建立

中国信通院发布的《人工智能白皮书（2022年）》中提到，人工智能正在迈入“创新驱动、应用深化、规范发展”的新阶段。可信AI的实现，需要政府、企业、高校等多方力量的协同。行业标准的制定，或将为中国“可信AI”在机器视觉、图像处理领域的体系建设提供有力支持。

为贯彻落实《中华人民共和国网络安全法》《生成式人工智能服务管理办法（征求意见稿）》等文件中对于AI服务的规范性要求，系统性建立图像内容安全行业发展秩序。今年6月，中国信通院牵头启动了《文档图像篡改检测标准》制定工作，合合信息、中国图像图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合编制。

据悉，该项标准将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题，凝聚行业共识，以期为行业提供有效指引。

唐琪在论坛上表示，《文档图像篡改检测标准》制定项目的启动，是AI图像内容安全体系建设之路上的重要的里程碑。期待更多研究机构、企业主体参与进来，共同推动AI服务规范性的整体提升和行业发展秩序的建立，助力科技向上而行，向善发展。

可信AI的健康发展，除了标准引领，也需要“硬科技”支撑。“我们深耕智能文字识别、智能图像处理领域，技术成果获权威机构及市场认可。最近一个月内，我们的智能文档处理产品通过中国信通院‘可信AI—智能文档处理系统’评估工作，并获得“5级”（该模块最高评定等级）评定。”唐琪说。

今年以来，多个图像生成软件在全球迅速蹿红，其作画逼真程度“技惊四座”。AI一路“狂飙”，让生成、篡改等多形式的图片伪造的门槛变得更低，由此引发的隐患也令人忧虑。

“聊天记录里的截图是真实的吗？眼见未必为实。”图像是信息的主要载体之一，利用AI进行图像造假的行为，是AI可信化发展需要应对的重点问题。在昨天由中国信息通信研究院承办的主题为“多模态基础大模型的可信AI”的世界人工智能大会专项论坛上，演讲嘉宾、合合信息智能创新事业部总经理唐琪分享了合合信息AI图像安全技术方案。据悉，该方案可精准定位截图篡改痕迹，对生成式图片进行智能判别，防止不法分子利用技术手段非法爬取图片上的信息。

青年报首席记者范彦萍

AI图像篡改检测“黑科技”优化升级

今年，AI图像篡改检测“黑科技”持续优化升级，应用面也拓展至“截图篡改检测”。相较于去年的自然场景图像，对用户生活影响更大的资质证书、文档合同、银行保单等截图若被不法分子利用，所承受的财产损失难以估量。

据唐琪介绍，升级后的AI图像篡改检测技术可检测包括转账记录、交易记录、聊天记录等多种截图，无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段，还是“擦除”“重打印”等方式，图像篡改检测技术均可“慧眼”识假。

该技术的主要难点在于，与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差异，难以通过拍照时产生的成像差异进行篡改痕迹判断，现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征。

唐琪介绍说，合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，结合图像本身的信息，包括但不限于噪声、频谱等，从而捕捉到细粒度的视觉差异，达到高精度鉴别效果。

可信AI的健康发展，除了标准引领，也需要“硬科技”支撑。“我们深耕智能文字识别、智能图像处理领域，技术成果获权威机构及市场认可。最近一个月内，我们的智能文档处理产品通过中国信通院‘可信AI—智能文档处理系统’评估工作，并获得“5级”（该模块最高评定等级）评定。”唐琪说。