欧盟人工智能立法：社会评分被禁止了吗

本文转自：法治日报□ 蔡培如

欧盟《人工智能法案》是全球首部对人工智能进行全面监管的综合性立法，其中，因一定情形下的社会评分被认定为会产生“不可接受的风险”而禁止在欧盟使用。

欧盟人工智能立法理路与社会评分受禁背景

基于人工智能系统应用对基本权利所产生的损害风险，欧盟将人工智能分为“低风险”“有限风险”“高风险”“不可接受的风险”四个等级，并施加强度不同监管要求（即“基于风险的路径”），形成“成比例的监管体系”。其中，“不可接受的风险”指可能被滥用，可能为实施操纵、剥削和社会控制行为提供新颖而强大的工具，与欧盟价值观相悖的人工智能应用风险。

具体就社会评分受禁的背景而言，欧洲一些国家正在采用以风险评估为代表的社会评分，这引发了不透明、大规模监控、歧视等问题。在SCHUFA案中，欧盟法院根据《通用数据保护条例》（GDPR）第22条，认为原则上应禁止使用完全自动化决策。本次人工智能立法正是对数据法规范模式的补充和完善。

什么样的社会评分属于不可接受的风险

根据《人工智能法案》第5（1）（c）条规定，可以从主体要件、目的要件、手段要件和效果要件四个方面认识受禁止社会评分的立法演进及具体构成。

（一）主体要件的变化：不再限于公共机构

最初，只有公共机构或者其代表实施的社会评分行为才属于受禁止的范围，随后欧盟意识到私人开展的社会评分同样可能产生无法接受的风险，立法便将受禁主体扩展到私人。

（二）目的要件的变化：不再要求“以一般用途为目的”

起初立法禁止的是为一般用途而对自然人进行的社会评分，具体可能指对个人可信度或对个人总体道德水平的评估。后期的立法删去了目的要件，于是出于任何目的的社会评分都可以落入禁止范畴。

（三）手段要件的变化：数据源的扩展

首先，在数据类型方面，社会评分是对多重场景下的“社会行为”数据或“个人的或人格的数据”作出的分类、评估。宽泛表达意在尽可能包含所有数据类型，以避免争议。

其次，在数据来源方面，基于自然人已知的、推断的、预测的个人的或人格的特征而作出的评估、分类都属于社会评分，其中“推断的”数据是后期增加的。

最后，在数据时间跨度方面，尽管最终文本未规定用以社会评分的数据是多时间点的，但要求社会评分是在一段时间内对个人所作的评估，这表明欧盟真正试图禁止的是具有一定时间持续性的评分行为。

（四）效果要件：无实质变化

在立法过程中改动较少的“效果要件”，可分解为两个需要同时满足的条件：第一，社会评分对个人或其群体造成了不利对待；第二，上述不利对待至少存在如下两个问题之一，其一，造成不利对待的社会场景与评分所使用的数据的产生或收集场景是不相关的，其二，不利对待不具有正当性，或与个人的社会行为及其严重程度是不成比例的。

综上，历经多方多次的提议、协商和妥协，受禁社会评分中的主体要件、目的要件不复存在，手段要件又极为宽泛，实际上只有效果要件才真正具有判断价值。

为什么特定情形的社会评分会造成不可接受的风险

（一）以欧盟基本权利保护为目标的风险监管体系

面对人工智能系统带来的一系列问题，欧盟提出应当将实现和保障欧盟价值和基本权利作为人工智能立法的根本目标。其中，基本权利在内容上更具系统性和规范性，能够为立法提供实质且明确的指引。

欧盟提出的一系列人工智能发展理念——可信赖的、以人为中心的、合伦理的人工智能，其实都是以基本权利保护为实现路径。具体而言，人工智能系统只有在符合基本权利保护的前提下，才可以获得人工智能的使用者和受用者的信赖，从而获得更多的投资和更加广泛的使用，这便是一条以人为中心的发展道路。可信赖的人工智能需符合三个标准：合法的、合伦理的、坚固的。前两者在具体评估时都需要诉诸基本权利：既不能侵犯法律上规定的权利，又要保障基本权利所体现的个人因其人性而应当享有的道德权利。

（二）社会评分造成的普遍风险与不可接受的风险

社会评分可能产生的两个主要风险为：侵犯自主性原则和侵犯公正原则。

在侵犯自主性原则方面，使用其他场景中产生的数据而对个人作出不利对待，可能会导致个体过度自我审查，严重损害个人自主性。

在侵犯公正原则方面，模型、算法、数据都可能巩固或加剧歧视，违反非歧视性要求；使用脱离了具体场景的数据也可能已无法准确地作出社会评分；而那些社会评分自身是不公正的或惩戒上违反了比例原则的，自然就违反公正原则。

总之，基本权利侵害是判断人工智能系统应用风险的最重要标准。禁止一定情形的社会评分主要是因其可能严重侵犯基本权利所保障的自主性原则和公正原则。

在人工智能立法中禁止社会评分有意义吗

（一）受禁社会评分与其他法律规范的对接

在本次人工智能立法之前，GDPR可对社会评分进行一定限制，但无法容纳所有本次立法禁止的社会评分情形。

其一，使用超出原初场景的数据所做的社会评分可以在一定范围内与GDPR中“目的限制原则”对接。“目的限制原则”仅面向数据控制者收集的个人数据，未能纳入非个人数据和通过其他方式“生成的”数据，而本次立法则实现了对所有用于社会评分的数据的辐射。

其二，社会评分下不公正的、不成比例的不利对待可以在一定范围内与比例原则对接。《欧盟基本权利宪章》第52条第1款直接限制了公共机构实施不符合比例原则的社会评分，而本次立法则基于基本权利的国家保护义务，通过立法形式将该原则贯彻到了私人开展的社会评分中。

（二）社会评分监管思路的转换

相较于GDPR以程序保护为主的规范模式，人工智能立法转向了实质保护进路。GDPR第22条原则上禁止了信用机构实施的全自动化评分行为，而在三种豁免场景下，为个人提供了程序性权利保障，核心是确保自动化决策中人的在场（即“人在环路”）。

人工智能立法则直接链接到了人的尊严、自由、不受歧视等基本权利。基于此，本次立法的进步之处是：将适用范围扩展到所有人工智能系统，而不论系统的自动化程度为何；将对个人或其群体实施的不利对待均纳入规范范围；不利对待不局限于法律行为，事实行为亦可纳入；不再考虑程序性权利的校正作用，只要社会评分可能产生不可接受的风险，一律受到禁止。

欧盟的人工智能立法为我国数字行政和自动化决策提供了两个方面的启示：一方面，建议以人工智能系统可能对基本权利造成的侵害及其严重程度为标准，层次化地解决数字技术辅助下行政活动所需的法律授权问题；另一方面，考虑到个人信息保护法中“目的限制原则”在数字行政中难以应对数据聚合问题，我国未来有必要专门规范该场景下的数据再利用行为。

（原文刊载于《华东政法大学学报》2024年第3期）