曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作

深度学习三巨头之一Yoshua Bengio的下一步动向公开了，关于AI安全——

加入了一个名为Safeguarded AI（受保护的人工智能）的项目，担任科学总监。

据介绍，Safeguarded AI旨在：

通过结合科学的世界模型和数学证明，构建一个负责理解和降低其它AI Agent风险的AI系统。

主打的就是一个量化安全保障。

该项目由英国高级研究与发明局（ARIA）提供支持，据说未来ARIA将投入共5900万英镑（约合RMB5.37亿）。

Bengio表示：

如果你计划部署某种技术，鉴于AI行为异常或误用可能带来非常严重的后果，你需要提出充分的理由，最好能提供强有力的数学保证，确保你的AI系统将正常运作。

“受保护的AI”

Safeguarded AI项目被划分为三个技术领域，每个领域都有特定的目标和预算：

支架（Scaffolding），构建一个可扩展、可互操作的语言和平台，用于维护现实世界模型/规范并检查证明文件。 机器学习（Machine Learning），使用前沿AI帮助领域专家构建一流的复杂现实世界动力学的数学模型，并利用前沿AI训练自主系统 应用（Applications），在关键的网络-物理操作环境中部署一个由“把关AI”保护的自主AI系统，通过量化的安全保障释放重要的经济价值

官方表示，Bengio加入后将特别关注TA3和TA2，在整个计划中提供科学战略建议。

ARIA还计划投入1800万英镑（约合RMB1.64亿）成立一个非营利组织，领导TA2的研发工作。

Safeguarded AI项目总监是前Twitter高级软件工程师David “davidad” Dalrymple，去年9月份加入ARIA。

对于Bengio的到来，Dalrymple还在X（原推特）上传了俩人的合照：

关于“构建一个负责理解和降低其它AI Agent风险的AI系统”的具体方法，David “davidad” Dalrymple、Yoshua Bengio等人写了份文件。

其中提出了一套称为“Guaranteed Safe AI（保证安全的AI）”的模式，主要是通过三个核心相互作用量化AI系统的安全保障：

世界模型，提供数学描述，阐述AI系统如何影响外部世界，并妥善处理贝叶斯和奈特不确定性 安全规范，定义哪些效果是可接受的数学描述 验证器，提供证明AI符合安全规范的可审计证书

他们还为创建世界模型的策略，划分了L0-L5安全等级：

Level 0：没有明确的世界模型。关于世界的假设隐含在AI系统的训练数据和实现细节中。 Level 1：使用经过训练的黑盒世界模拟器作为世界模型。 Level 2：使用机器学习生成的概率因果模型的生成模型，可以通过检查它是否为特定的人类制作的模型（例如科学文献中提出的模型）分配足够的可信度来进行测试。 Level 3：使用（一个或多个）概率因果模型（或它们的分布），可能在机器学习的帮助下生成，这些模型经过人类领域专家的全面审核。 Level 4：使用关于真实世界现象的世界模型，这些模型被正式验证为基本物理定律的合理抽象。 Level 5：不依赖具体的世界模型，而是使用覆盖所有可能世界的全局性安全规范。

“AI风险”备受学术圈关注

“AI风险”一直是行业大佬们关注的焦点话题之一。

Hinton离职谷歌，就是为了自由地讨论AI风险问题。

之前，更是有吴恩达、Hinton、LeCun、哈萨比斯等AI巨佬们线上“对喷”的大型场面。

吴恩达曾表示：

对AI的最大担忧其实是，AI风险被过度鼓吹，导致开源和创新被严苛规定所压制。某些人传播（AI灭绝人类的）恐惧，只是为了搞钱。

DeepMind CEO哈萨比斯则认为：

这不是恐吓。AGI的风险如果不从现在就开始讨论，后果可能会很严重。我不认为我们会想在危险爆发之前才开始做防范。

Bengio之前还和Hinton、姚期智、张亚勤等人工智能大拿，发表了一封公开信《在快速进步的时代管理人工智能风险（Managing AI RIsks in an Era of Rapid Progress）》。

其中就指出人类必须认真对待AGI在这10年或下一个10年内在许多关键领域超越人类能力的可能。建议监管机构应该对AI发展全面洞察，尤其警惕那些在价值数十亿美元的超级计算机上训练出来的大模型。

就在一个月前，Bengio还以“Reasoning through arguments against taking AI safety seriously（回应反对认真对待AI安全的观点）”为题写了一篇文章，其中分享了他的最新想法，感兴趣的家人可以康康～

https://yoshuabengio.org/2024/07/09/reasoning-through-arguments-against-taking-ai-safety-seriously/

Guaranteed Safe AI：

https://arxiv.org/abs/2405.06624

参考链接：[1]https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/[2]https://www.reddit.com/r/singularity/comments/1emcwox/ai_godfather_yoshua_bengio_has_joined_a_uk/[3]https://x.com/davidad/status/1821155265456033803