AI安全守护计划启动！信通院牵头，AIIA安全治理委员会发布三类模型安全评测

智东西7月24日报道，今日，中国人工智能产业发展联盟（AIIA）安全治理委员会举办了成果发布会。会上，中国信息通信研究院人工智能研究所安全与元宇宙部主任石霖，解读了成立半年来委员会形成的组织架构，安全、治理两大工作组的工作情况，并启动了AI安全守护计划，发布了三大类别的安全评测结果。

AIIA安全治理委员会成立于2023年12月底，经过半年运营，现有治理组、安全组两个工作组，近百家单位加入，主任单位由中国信通院牵头，副主任单位包括多家知名企业和高校。

其中，治理组工作围绕AI治理框架、合规治理、赋能治理展开，安全组主要开展大模型安全、合规等研究及基准测试。

今年6月，中国信通院依托该委员会发起“人工智能安全守护计划”，包括建立威胁信息共享机制、开展AIGC真实内容来源可信工作、建立AI保险机制等。

一、成立半年近百家单位，形成安全、治理两大工作组

AIIA安全治理委员会成立于2023年12月底，经过半年的运营，组织架构现有治理组、安全组两个工作组，同时负责运营安全对齐伙伴计划、可信人脸应用守护计划、内容科技产业推进方阵等。

▲AIIA安全治理委员会整体情况

目前，AIIA安全治理委员会已有近百家单位加入，由主任单位、副主任单位、专家委和办公室，以及围绕业务方向设置的工作组和伙伴计划组成。

其中，主任单位由中国信通院牵头，副主任单位包括vivo、百度、腾讯、360、华为、中国移动、阿里、浙江大学以及蚂蚁集团。

专家委负责对AIIA安全治理委员会的总体工作进行把关，两个工作组及伙伴计划则负责开展AI相关研究，推动产业链各方的AI安全治理工作。

据石霖介绍，治理组目前的工作进展围绕三个方面展开，包括AI治理框架、AI合规治理以及AI赋能治理。

▲治理组工作进展

具体来说，治理工作组聚焦AI整体治理框架研究和起草工作，与国际对标，如针对ISO/IEC 42001等进行研讨对比，输入国际优秀风险管理经验。

同时，治理组围绕人脸识别等典型应用开展工作，支撑地方网信主管部门针对文旅行业开展合规实践，形成人脸识别相关治理研究报告。

此外，围绕AI赋能治理，治理组开展法律大模型相关技术标准规范研讨工作，相关规范正式定稿。

安全组则主要根据大模型安全、合规等热点方向，开展安全基准测试，推动多项AI原生安全规范的编写和技术交流。

▲安全组工作进展

目前，安全组围绕大模型的安全合规和技术研究开展文档编写等，已经开展了两个批次的AI安全Benchmark测试工作，其中二季度融入了更多常见攻击方法，包括诱导攻击、提示词注入攻击、内容泛化攻击等，能更全面直观反映国内外闭源模型的安全情况。

围绕AI原生安全、AI赋能安全等，安全组在今年上半年先后召开了线上/线下共20多场交流研讨，开展了标准制定、测试评估等工作，包括大模型安全、AI网络安全大模型规范、AIGC检测规范等。

二、启动AI安全守护计划，三大安全测评结果发布

石霖谈道，在两大工作组的实践当中委员会发现，单独的工作组各自围绕安全或治理，从规则或技术角度开展工作，在这个过程中技术和规则需要融合。因此，建立跨组安全防护能力至关重要。

今年6月，中国信通院依托AIIA发起“人工智能安全守护计划”，即AI Guard，目标是联合多方力量提升我国AI技术水平和治理能力，促进产业健康有序发展。

▲人工智能安全守护计划

首先，该计划将建立AI威胁信息共享机制，从AI芯片等基础设施，到数据、算法、应用等方面的漏洞，通过委员会层面的互助共治及时预警，提升安全防范能力，从而应对AI安全威胁除等问题。

其次，该计划将开展AIGC真实内容来源可信工作，通过建立统一内容标准平台，打造内容可溯源的能力。目前主要针对图片、音频和视频等多模态内容，采用隐式水印方法建立互认机制。文本内容上的实现仍有一定技术难度，后续将持续有针对性地突破。

此外，计划将通过AI保险机制，为相关人员和单位给予救济，提供赔偿兜底策略。

最后，石霖发布了大模型安全风险防范能力评测、多模态图文大模型内容安全防范能力评测、人脸识别安全专项评测以及代码大模型安全风险风险防范能力评测结果，vivo、蚂蚁、阿里云、百度、科大讯飞、商汤等作为代表获得了证书。

▲大模型安全风险防范能力评测、多模态图文大模型内容安全防范能力评测结果

▲人脸识别安全专项评测结果

▲代码大模型安全风险风险防范能力评测结果

推动AI向安全可靠可控方向发展

大模型发展迅速，但AI安全问题的严重性和紧迫性不容忽视，安全挑战已从技术本身的传统安全问题向多方面扩展，各国和地区基本形成本土框架。例如，美国推出风险管理框架，欧盟构建风险分级治理方案，新加坡推出治理模型框架并提出9个维度，日本发布指南制定行为准则等。

而在国内，AIIA安全治理委员会正在积极推动精准化治理前沿技术治理工具的构建，目前已围绕治理框架、风险管理、卫生安全、安全应用取得一定成果。未来在各单位的共同努力下，期待我国能形成完整的安全风险机制，确保AI向安全可靠可控方向发展。