算法治理我们，我们如何应对

本文转自：中华读书报

《算法社会：技术、权力和知识》，[荷]马克·舒伦伯格、[荷]里克·彼得斯编，王延川、栗鹏飞译，商务印书馆2023年8月第一版，88.00元

我们生活在算法社会，算法治理我们。算法已经深深嵌入到当下社会的许多领域，渗透到人们生活的方方面面。我们都意识到一个日益被算法主宰的世界的到来，却对此知之甚少，也无力抗拒算法对我们影响。这一方面是因为算法作为计算机技术很难为普通人所理解，还因为算法嵌入社会生活的方式是隐秘的，我们甚至觉察不到自己受到算法的规制，另一方面是因为算法的使用者是平台、政府等有权力的组织，而这些组织的决策人员在使用算法过程中其自由裁量权也不断被算法“篡夺”，算法逐渐成为真正的“决策者”。针对算法的研究已经成为国内外的一门显学，这些研究多聚焦在算法的技术、产业、伦理和法律等特定方面。商务印书馆最近出版的《算法社会：技术、权力和知识》一书在这些研究成果中独树一帜，它综合了哲学、法学、社会学、犯罪学、公共管理学、政治学、文化理论甚至生理学等多方面理论知识，是全面剖析算法技术与社会治理关系的佳作。本书分析算法的知识基础和技术特征，在此基础上揭示算法社会的运作机理，讨论算法权力发挥功能的原理，以公共行政、刑事治安和城市管理为对象展开算法权力的具体运作状态，探索和反思其中存在的问题，并提出学理批判和实践改进措施，读来极具启发意义。

本书首先从社会形态演进的角度揭示算法社会的主要特点。从历史发展角度而言，我们已经从福柯主张的规训社会、德勒兹主张的控制社会进入算法社会。规训社会的主要标志是高能效的大工业机器，控制社会的主要标志是电脑和信息技术。算法社会呢？ 在本书的作者看来，算法社会的主要标志是数字化知识和体现预期治理的算法治理术。算法不仅仅是一种技术，它还具有规范性特质，重塑着我们的社会生活。与此同时，整个社会治理从人的判断逐渐走向机械判断，人机协作成为社会治理的常态。算法获取用户信息，并在此基础上建模，再反过来预测用户的偏好与行为，为用户做出决策，甚至重塑用户的偏好。在规训社会和控制社会，对社会关系和人之行为的研判、决策和指引着眼于当下以及过去，而在算法社会，基于算法预测功能的应用，对社会关系和人之行为的观察研判、决策和指引则着眼于当下以及未来。在规训社会和控制社会，规制对象受其身体外部机构（如工厂、学校、监狱或公司等）积极地重塑，而在算法社会，规训外部机构的作用显著减弱，规制基于规制对象对算法技术的使用而建立，即算法使得规制对象从其身体内部产生了顺从的愿望。

本书的另一个“亮点”是揭示了算法作为一种新型权力的产生机理和运行方式。算法系统的“神秘”不在于它向我们隐藏了什么，而在于那些看似不起眼的、零碎的、嵌入式的用户参与，强化了算法对我们的控制，个体成为了技术的一部分。随着算法技术的扩张，算法权力渗透到社会的“毛细血管”中，在我们看得见或看不见的地方，算法都在影响和调整我们的思维与行为。算法正在辅助政府和平台做出各种决策，不断重塑当下以及未来的社会结构。本书认为，算法在资格确定、风险评估、人员管理领域发挥着主要规制功能。算法自动确定接受政府服务人员的资格或者身份；自动生成资源分配和民众个性化待遇的可能性和风险的评估，比如预防犯罪和识别欺诈；自动跟踪和审查特定目标人群的行为，并积极影响他们未来的行为，比如对消费者的预测和智慧城市管理。同时，每个社会个体也越来越明显感到算法与我们的互动：算法提取我们的数据，预测我们的行为，并为我们做出各种“决定”，这些具有合理性质的“决定”基本上都被我们所接受。算法给人们带来便利，延展人们社会参与的手段，凭借其高效率与低成本赢得了人们的“青睐”，最终通过一种潜移默化的方式改变人们的生产生活方式和思维方式，重塑人类社会形态。无论是日常生活还是专业领域如医疗、法律、体育、金融等，处处可见算法的“身影”，至此，算法完成了从技术到权力的转型。算法如同“幽灵”一般，将人们紧紧捆绑在代码编织的数字空间中，并通过技术包容实施一种“友好暴力”以挤压用户意思自治的空间，用户的抵抗只是一种无奈的妥协。用户在面对算法时缺乏一种对等的博弈能力，只能适应算法按照既定规则提供服务的逻辑，算法为人们编织的“数字牢笼”得以成就。

由于算法可以使各种决策变得更可靠、更容易、更省时、成本更低，所以算法被认为是应对我们这个时代重大挑战如安全、公共服务、健康医疗和环境保护的一种良策。但是，算法作为“颠覆性”技术来自技术界和产业界的快速推动，代表着新自由主义阶层的利益，其对效益的追求多于公正。算法全面介入我们的生活带来一系列风险：“黑箱”算法取代人性化、清晰可读和负责任的判断，而算法的模糊性、缺乏透明性与问责不明使得受众遭受安全风险；基于学习数据和技术开发人员偏见而导致的算法决策偏见无处不在；算法以相关性而非因果解释产生不确定的预测；算法造就“信息茧房”影响用户的理性判断力；算法权力异化导致“数字囚笼”无法及时化解，等等。算法为了运行顺畅，遵循“简化”与“闭合”原则，阻止丰富的数据作为算法研判的基础，排斥人类价值观对算法决策的影响。算法使用者遵循算法指令的过程也就是自己的裁量权不断被削弱的过程。所以，算法正义表现为一套机器规则体系，但该规则体系是对人类规则体系的某种背反。本书揭示并批判算法正义与法治正义的背离，让我们对算法社会的运行有了更加具体和深刻的感受。

本书的宗旨并非为了批判而批判，而是要超越批判，以思辨的思维深入分析算法治理社会的来源、理念、逻辑和未来展望。一方面，算法治理作为一种趋势不可阻挡，算法权力成为我们社会中的权力表现形式将成为一种事实。另一方面，由于算法的应用存在一些可以预见和无法预见的潜在危险，需要探索和分析算法运行中存在的各种问题，并提出富有洞见的对策。

本书提出了缓解算法潜在风险的几条准则：第一，在算法设计时纳入民众的控制权；第二，应该构建有益于人类自主判断的算法应用场景；第三，独立的监督机构必须算法决策方面发挥关键作用；第四，算法应用的推行应该与公共合法性与民众认可保持同步。这些准则都致力于打破算法的闭合逻辑，将人类规则嵌入算法运行过程中，从而打破单一的算法规则体系对我们生活的重塑，这种设想可谓是切中了算法治理的要害，不失为解决算法社会各种问题的良策。

（作者为西北政法大学教授）