事关人类命运的艰巨难题

本文转自：解放日报

事关人类命运的艰巨难题

江晓原

《人机对齐：如何让人工智能学习人类价值观》[美]布莱恩·克里斯汀 著唐璐 译湖南科学技术出版社 上海交通大学讲席教授、科学史与科学文化研究院首任院长 江晓原

在人工智能快速发展并出现越来越多实际应用的情况下，许多从业者和研发者都开始明确意识到危机的临近了。本书作者布莱恩·克里斯汀，通过近百次正式访谈和数百次非正式谈话，行程数万公里，写成《人机对齐》这本聚焦于如何让人工智能学习人类价值观——这是目前在人工智能研发和应用中已经面临的严峻问题——的通俗著作。

按照本书的定义，所谓“对齐问题”（the alignment problem）是指：“如何确保这些（人工智能）模型捕捉到我们的规范化价值观，理解我们的意思或意图，最重要的是，以我们想要的方式行事——已成为计算机科学领域最核心、最紧迫的问题之一。”

本书分为三部分：

第一部分题为“预警”，主要介绍“对齐问题”前沿的一些情况，比如公平问题、错误的规则等。现有的一些人工智能系统已经出现了和人类应有的伦理道德标准（比如不能有种族歧视）明显冲突的情况。而在看起来人类完全有能力掌控其意图的系统中，实际情况也比人们想象的要复杂和困难得多。

第二部分题为“自主”，重点是人工智能的“强化学习”，报道了一些最新的研究进展。作者认为“其中有一些经验可以帮助我们理解进化、人类动机和激励的微妙之处，对商业化育儿都有启发”。作者在这部分的态度似乎较为乐观。

第三部分题为“示范”，作者的注意力集中在人工智能安全研究的前沿问题，比如“如何将复杂的自动系统与过于微妙或复杂、无法明确的规范化价值相结合”。

根据书中的介绍，现在美国的司法系统中已经有相当多人工智能系统的应用，比如评估犯人能否假释之类的业务，就会交给人工智能去做，结果出现了令人非常意外的情形：有时人工智能并未像人们所期望的那样公正、那样不偏不倚，而是出现了种族歧视（比如对黑人的假释风险评分会高于白人）。又如谷歌的图像识别软件居然将黑人标记为“大猩猩”，谷歌不得不删去“大猩猩”这个标签，导致“任何东西都不会被标记为大猩猩，包括真正的大猩猩”。这些现象都为使用人工智能系统敲响了警钟。

总体来看，本书上述各个部分都由一些尽可能有趣的具体事例来推进叙事，这是欧美畅销书的惯常写法。好处是可以增加阅读趣味，但阅读时需要注意关注叙事主线，避免迷失在各种故事和逸闻趣事中。

如果我们跳出具体的技术问题，以及解决这些问题的具体进展，采用更为宏观的视角来看问题，则“人机对齐”可以从根本上近似理解为这样一个问题：怎样防止一个孩子学坏。

自古以来，人类为了让孩子学好，普遍采用了家庭规训、学校教育、司法惩戒、社会宣传等多种手段，这些手段从深度和广度来看，和迄今为止人工智能研发者在“对齐问题”上所做的努力相比，可说是有过之而无不及，但效果呢？任何时代，社会都无法避免有少数孩子学坏、堕落，沦为罪犯。人类迄今没有找到保证孩子100%不学坏的有效办法。那么，如果我们将人工智能看成人类另一种形式的“孩子”，从业者和研发者们又凭什么认为它一定不会学坏呢？

虽然迄今为止，从总体上来说，人类社会并未因为有一部分孩子学坏沦为罪犯而陷于崩溃，因此我们似乎也有可能和某些“学坏”了的人工智能共存，但那是因为迄今所有的罪犯都不是“超人”，他们的恶意尚无法战胜由社会所制定、建立和运行的制度。然而人工智能的学习能力是难以预料的，更何况，人工智能的研发者都希望研发出比人类更聪明的人工智能（否则研发人工智能还有多少意义呢？），显然，“学坏”了的人工智能将对人类社会形成前所未有的挑战。

如果从这样的视角来读《人机对齐》这本书，我们将获得更大的教益和启发——人机对齐，当真是事关人类命运的艰巨难题。