中科院自动化所曾毅：未来AI智力水平或全面超越人类，能否共生最大的瓶颈在人

搜狐科技《思想大爆炸——对话科学家》栏目第六期，对话中国科学院自动化研究所研究员、人工智能伦理与治理中心主任曾毅。

嘉宾介绍：

曾毅，工学博士，中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与治理中心主任；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国教科文组织人工智能伦理特设专家组专家。

出品 | 搜狐科技

作者 | 梁昌均

当一群技术信徒在为AI大模型开启通用人工智能时代而兴奋时，也有不同的声音呼吁警惕风险，提高对AI安全和监管问题的重视。

近日，美国非营利组织生命未来研究所和人工智能安全中心先后发布的两封声明就代表了这样的声音，并获得科学界和企业界上千位人士的签名支持，包括全球首富、特斯拉CEO马斯克，OpenAI创始人山姆·奥特曼，以及深度学习之父杰弗里·辛顿。

这两封声明在国内科研界也获得一定支持，中国科学院自动化研究所研究员、人工智能伦理与治理中心主任曾毅就是其中的一位。他为什么会签署？AI真的会带来灭绝风险？

近日，在与搜狐科技的独家对话中，曾毅表示，两次声明都意识到了目前人工智能发展过程中的风险和失控的可能性，但应对方式有显著差别。

《暂停人工智能巨模型实验》号召通过暂停更高级别的巨模型的研究，优先为AI设计并实现安全框架；《人工智能风险声明》号召“减轻人工智能灭绝的风险应该与流行病和核战争等其他社会规模的风险一起成为全球优先事项”，更深度和直接地表达了对AI给人类带来潜在生存风险的担忧和应采取的行动。

曾毅正是基于认同这样的观点而在声明上签字。“少数人很难改变趋势，但少数人首先站出来提升公众的意识，最终参与改变现状的就会是多数人。”

他认为，大流行病、核战争与人工智能可能给人类带来的潜在生存风险的共性是波及范围广，甚至具有广泛致命性，更关键的是都难以提前预测。

“远期人工智能的挑战，如果从现在开始研究如何规避其风险，尚有可能应对，但近期人工智能的风险则显得更为紧迫。”曾毅表示，最近生成式人工智能产生的虚假信息极大降低了社会信任，万物互联使得相关风险规模放大。

不过，他也强调称，重视和管控AI的安全风险不是阻碍AI的发展与应用，而是确保AI技术稳健发展。“这两封声明的目的都不是阻碍人工智能的发展，恰恰是在探索人工智能稳健发展的途径。”

如何解决AI风险，使得它安全地发展？曾毅在近日的智源大会上提出了他的解决方案——要构建有道德的脑启发人工智能。

他对搜狐科技解释称，目前的AI模型合乎伦理道德的做法是用规则化的伦理原则约束，使智能信息处理系统对齐人类价值观与行为，但这种方式好似建构空中楼阁，没有道德直觉作为根基，没有真正的理解，不可能实现真正意义的伦理道德。

曾毅认为，要想解决这一问题，AI应该向自然演化和人脑学习，探索脑启发的人工智能，实现其在结构与机制上类脑，在行为和功能上类人，使AI以构建自我模型为基础，逐步发展认知、情感、道德等。

“只有为人工智能赋予一定程度的自我感知，实现认知共情、情感共情、利他行为，实现一定程度的道德直觉，才有可能实现真正意义的有道德的人工智能。”他表示，这必然是一条极其困难而艰辛的发展道路，但目前看不到其他捷径。

如果沿着这样的路径发展，当AI也具备伦理道德，它是否会和人类价值观形成冲突？在曾毅看来，如果让AI完全重新开始与世界互动，必然会形成与人类价值与道德观念有所差异的体系，但这一定不是人类所期望的。

因此，曾毅认为，在推动AI的价值系统与人类对齐的同时，人类也应当在与AI互动过程中有所启发，以辅助人类价值系统与伦理道德观的完善。

同时，他认为，未来AI可能会具有更多生命的特征，智力水平有可能会全面达到甚至超越人类，而人类则希望和AI和谐共生。但能否共生共存，最大的瓶颈在于人类，而非AI。

“人工智能是人类的一面镜子，我们在构建人工智能的过程中，应不断反思人类与其他生命的关系和相处之道。”曾毅表示，面对有可能全面超越人类的超级智能，人类的道德需要加速演化。

以下为对话实录（经编辑整理）

搜狐科技：关注到您在最近的两份AI声明上都有签名，您为什么会签署？

曾毅：两次声明都意识到目前人工智能发展过程中的风险和失控的可能性，但应对的方式有显著的差别。《暂停人工智能巨模型实验》号召通过暂停能力超越GPT-4的人工智能巨模型的研究，优先为人工智能设计并实现安全框架。

新的《人工智能风险声明》号召“减轻人工智能灭绝的风险应该与流行病和核战争等其他社会规模的风险一起成为全球优先事项”更深度和直接地表达了签名者对人工智能给人类带来潜在生存风险的担忧和应采取的行动。我在这个问题的认知与这样的观点接近，因此在新声明正式发布前就签署了。

绝大多数人发展人工智能的愿景，我想应当是用人工智能造福人类，而并非是给人类带来风险，甚至是生存风险。因此绝大多数人有权利知道人工智能的潜在风险，研发者有义务确保人工智能不给人类带来生存风险，至少要通过利益相关方最小化这种风险的可能性。少数人很难改变趋势，但少数人首先站出来提升公众的意识，最终参与改变现状的就会是多数人。

搜狐科技：AI真的会有类似流行病和核战争的灭绝风险？当前对AI风险的认识是否夸大？

曾毅：大流行病、核战争与人工智能可能给人类带来的潜在生存风险的共性是波及范围广，关乎全人类的利益，甚至具有广泛致命性，更关键的是都难以提前预测。

关于人工智能的风险，有至少两种可能，一种是对远期人工智能的担忧。当通用人工智能和超级智能到来时，由于智力水平可能远超人类，将视人类如同人类视蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。

另一种是针对近期人工智能的担忧，这更为紧迫。由于现在的人工智能没有真正的理解能力，也不是真正的智能，因此会以人类难以预期的方式犯人不会犯的错误。当某种操作会威胁到人类的生存的时候，人工智能既不理解什么是人类，什么是生死，也不理解什么是生存风险。当这种情况发生时，极有可能威胁到人类的生存。

也有观点认为，人工智能可以利用人类的弱点对人类的生存造成致命危机，例如利用和加剧人类之间的敌对和仇视、偏见和误解，而这样的人工智能甚至不需要达到通用人工智能的阶段就有可能对人类造成生存风险。

加之这种人工智能很有可能被人恶意利用、误用和滥用，而风险几乎难以预期和控制，特别是近期的人工智能进展使得其能够利用互联网规模的数据与信息，生成式人工智能产生的虚假信息极大降低了社会信任，网络通信又已使万物互联，可以使相关风险在世界规模放大。

远期人工智能的挑战，我们如果从现在开始研究如何规避，其风险尚有可能应对，但近期人工智能的风险则显得更为紧迫。

重视和管控人工智能的安全风险不是阻碍人工智能的发展与应用，而是确保人工智能技术稳健发展。人工智能无疑是社会进步的推进器，然而这并不意味着人工智能没有潜在风险，或者是由于最大化人工智能益处的需求，就可以忽略人工智能的潜在风险。前述两封声明的目的都不是阻碍人工智能的发展，恰恰是在探索人工智能稳健发展的途径。

搜狐科技：您提到要构建有道德的人工智能，AI没有道德意识，要保证发展安全的话该如何解决？

曾毅：人类的道德具有内生基础，在此基础上通过习得更广泛意义的伦理道德，从而进行道德推理与决策。但目前的人工智能模型合乎伦理道德的做法是用规则化的伦理原则约束，使智能信息处理系统对齐人类价值观与行为。这就好似建构空中楼阁，没有道德直觉作为根基，没有真正的理解，不可能实现真正意义的伦理道德。

只有为人工智能赋予一定程度的自我感知，在此基础上实现认知共情、情感共情、利他行为，以此为基础实现一定程度的道德直觉，才有可能实现真正意义的有道德的人工智能。因此需要在人脑和人类演化的启发中，构建脑与心智启发的有道德的人工智能。这必然是一条极其困难而艰辛的发展道路，但我看不到其他捷径。

搜狐科技：AI是机器，如何让它有道德感？人类的道德观念和伦理价值对它是适用的吗？

曾毅：道德无法被灌输，需要基于道德直觉的理解，而不是处理规则。我们首先需要赋予人工智能的是理解能力，才有可能产生道德直觉，进行有效的道德推理与道德决策。人类的道德观念和伦理价值是为人类社会而建构，人类自然希望人工智能合乎人类的价值观和伦理框架，但这必然是远远不够的。人类自身的看法都在发生着变化并进行重新认知，人工智能是探索的新载体，甚至可以辅助人类完善人类的价值体系。

如果让AI完全重新开始与世界互动，必然会形成与人类价值与道德观念有所差异的体系，但这一定不是人类所期望的。所以人类希望人工智能的价值系统能够与人类对齐，但同时人类也应当在与人工智能互动过程中有所启发，以辅助人类价值系统与伦理道德观的完善。

搜狐科技：从人的大脑出发能给AI发展和安全带来什么启示？

曾毅：目前人工智能从数据中学习的原理与大脑千差万别，原理和处理机制上都不具有生物合理性，也因此会犯人不犯的错误。脑启发的人工智能发展路径是希望向自然演化学习，从脑的结构与机制获得启发，实现具有生物合理性，并在此基础上延伸发展人工智能。

脑启发的人工智能在结构与机制上类脑，在行为和功能上类人。它以构建自我模型为基础，逐步发展出区分自我与他人、认知与情感共情、利他、道德。期待通过发展脑启发的人工智能，减少难以预期的风险与安全隐患，发展有道德的人工智能。

搜狐科技：您期待的未来人机关系是什么样的？面临的最大瓶颈是在于人类还是在于AI？

曾毅：未来的人工智能可能会具有更多生命的特征，智力水平有可能会全面达到甚至超越人类，而人类总还是希望人工智能可以作为伙伴与人类和谐共生。

人工智能是人类的一面镜子，我们在构建人工智能的过程中应不断反思人类与其他生命之间的关系和相处之道。未来的超级智能视人类可能如现在的人类视蚂蚁，而若人类不能善待其他类型的生命，未来的超级智能又有何理由善待人类呢？

人与人工智能未来是否能够共生共存最大的瓶颈在于人类，而非人工智能。如果超级智能真的是在智慧水平上全面超越人类，那么应该是超级利他、超级道德的，在面对这样的智慧生命时，人类的道德需要加速演化。返回搜狐，查看更多

责任编辑：