风险分类向导:按风险等级对 AI 系统进行分类
风险分类向导通过结构化的七步流程,引导您根据 EU AI Act 确定 AI 系统的风险等级。分类结果决定了哪些合规义务适用于该系统。该向导以交互式问卷的形式,实现了 Regulation (EU) 2024/1689 第 5、6 和 50 条以及 Annex I 和 Annex III 的判定逻辑。每个问题都附有直接摘自该法规的解释性文字,帮助您作出准确的分类。
启动向导
第一步要求您选择要分类的 AI 系统。如果您是从某个 AI 系统的详情页面启动向导的,该系统会被预先选中。否则,请从下拉列表中选择,该列表包含清单中所有状态为草稿或活跃的 AI 系统。已分类的系统会显示其当前分类,并提供重新分类的选项。已停用的系统无法进行分类。
系统选择步骤还会显示所选系统关键属性的摘要(名称、描述、预期用途、角色类型和环境),以便您在回答分类问题之前掌握相关背景。请仔细核对这些信息:分类是否准确,取决于您是否清楚了解该系统的功能。
这一关键步骤会对照 EU AI Act Art. 5 所定义的八类被禁止的 AI 实践,对 AI 系统进行筛查。您必须如实、准确地回答每个问题。只要有任何一个问题的回答为“是”,该系统就会被归类为不可接受风险,向导会直接进入结果步骤,并建议停止使用该系统。
八个筛查问题如下:
| # | 禁止行为 | 问题 | Art. 5 引用 |
|---|---|---|---|
| 1 | 潜意识操纵 | 该 AI 系统是否部署了超出个人意识的潜意识技术,或者有意采用操纵性或欺骗性技术,其目的或效果在于实质性扭曲个人或群体的行为,且其方式造成或合理可能造成重大伤害? | Art. 5(1)(a) |
| 2 | 利用脆弱性 | 该 AI 系统是否利用特定人群因年龄、残疾或特定社会或经济状况而存在的任何脆弱性,其目的或效果在于实质性扭曲其行为,且其方式造成或合理可能造成重大伤害? | Art. 5(1)(b) |
| 3 | 由公共机构进行的社会评分 | 该 AI 系统是否由公共机构或代表公共机构使用,根据自然人的社会行为或已知/预测的个人特征或人格特征对其进行评估或分类,且由此产生的社会评分导致不合理或不相称的有害或不利待遇? | Art. 5(1)(c) |
| 4 | 实时远程生物特征识别 | 该 AI 系统是否用于在公共可进入空间中,出于执法目的对自然人进行实时远程生物特征识别(严格界定的例外情形除外,即寻找受害者、防止迫在眉睫的威胁、识别严重刑事犯罪嫌疑人)? | Art. 5(1)(d) |
| 5 | 公共机构社会评分 | 该 AI 系统是否根据自然人或群体的社会行为,或者已知、推断或预测的个人特征或人格特征,对其进行评估或分类,且由此产生的社会评分导致其在与数据最初生成或收集情境无关的社会情境中受到有害待遇,或者受到与其社会行为或该行为严重程度不相称或不合理的待遇? | Art. 5(1)(c)(i)-(ii) |
| 6 | 无针对性抓取人脸识别数据 | 该 AI 系统是否通过从互联网或 CCTV 画面中无针对性地抓取面部图像,来创建或扩充人脸识别数据库? | Art. 5(1)(e) |
| 7 | 工作场所/教育机构情绪推断 | 该 AI 系统是否在工作场所或教育机构领域推断自然人的情绪(该 AI 系统出于医疗或安全原因而拟投入使用或投放市场的情形除外)? | Art. 5(1)(f) |
| 8 | 生物特征分类(敏感属性) | 该 AI 系统是否根据自然人的生物特征数据对其进行个体分类,以推断或推测其种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向?(例外:在执法领域对合法获取的生物特征数据集进行标注或过滤。) | Art. 5(1)(g) |
当以下两项条件同时成立时,AI 系统属于高风险:该系统是 Annex I 所列欧盟协调立法(例如机械、玩具、医疗器械、体外诊断、无线电设备、电梯、民用航空和机动车辆)所涵盖的产品,或此类产品的安全组件,并且该产品根据相关立法必须接受第三方合格评定。只有在第一个问题回答“是”之后,才会显示第二个问题。
通过 Annex I 被认定为高风险的系统会跳过 Annex III 和第 6(3) 条的步骤:第 6(3) 条中的豁免仅适用于 Annex III 系统。
如果第 3 步尚未将系统认定为高风险,向导会继续评估该 AI 系统是否属于 EU AI Act Annex III 所定义的某个高风险类别。系统会为您列出八个类别组,每组都包含具体的使用场景。请选择适用于您的 AI 系统的所有类别:
| 类别 | 说明和示例 | Annex III 引用 |
|---|---|---|
| 生物特征识别和分类 | 远程生物特征识别、按敏感属性进行分类、情绪识别。示例:基于人脸识别的门禁控制、生物特征开户、声纹识别。 | Annex III, §1 |
| 关键基础设施 | 关键数字或物理基础设施的安全组件。示例:水处理 AI、电网管理、交通系统。 | Annex III, §2 |
| 教育和职业培训 | 录取、分配、学习评估、考试监控。示例:自动化作文评分、录取筛选、在线监考。 | Annex III, §3 |
| 就业和劳动者管理 | 招聘、简历筛选、绩效监控、晋升或解雇决策。示例:自动化简历筛选、AI 绩效评估。 | Annex III, §4 |
| 基本私人和公共服务 | 信用评分、保险风险定价、紧急呼叫分类、公共福利资格审核。示例:信用模型、分诊系统。 | Annex III, §5 |
| 执法 | 风险画像、测谎、证据评估、预测性警务、犯罪分析。示例:再犯预测、嫌疑人画像。 | Annex III, §6 |
| 移民、庇护和边境管制 | 移民测谎、移民风险评估、庇护审查、边境监控。示例:证件核验、庇护分析。 | Annex III, §7 |
| 司法行政和民主进程 | 司法研究、法律适用、选举影响。示例:法律研究 AI、量刑工具、竞选定向投放。 | Annex III, §8 |
如果选择了一个或多个类别,该系统会被暂时归类为高风险,但仍须接受第 5 步中第 6(3) 条的检验。如果未选择任何类别,向导会直接进入透明度步骤。
如果 Annex III 系统不会对健康、安全或基本权利造成重大伤害风险,则该系统不属于高风险;该法案将这一判断与四个条件中任意一个得到满足挂钩。此步骤首先会询问系统是否对自然人进行画像:如果是,则无论其他情况如何,该系统都仍属于高风险,也不会再询问这些条件。否则,四个条件如下:
| 条件 | 含义 |
|---|---|
| (a) 狭窄的程序性任务 | 一项常规、界定明确且裁量空间有限的操作,例如将非结构化数据转换为结构化数据,或对传入的文件进行分类。 |
| (b) 改进已完成的人类活动 | 对人员已完成的工作成果进行完善,例如改进已起草文件的语言。 |
| (c) 检测模式而不替代审核 | 标记决策模式或与以往模式的偏差,且并非旨在未经适当人工审核的情况下替代或影响先前已完成的人工评估。 |
| (d) 准备性任务 | 执行与 Annex III 使用场景相关的评估的准备性任务,例如在人工决策之前进行文件处理或翻译。 |
四个问题涵盖第 50 条规定的义务:直接与人交互的系统(例如聊天机器人);生成合成音频、图像、视频或文本的系统;情绪识别或生物特征分类;以及深度伪造内容,或就公共利益事项发布的 AI 生成文本。这些义务并不构成单独的风险等级。它们会使原本属于最低风险的系统变为有限风险,并且在高风险的基础上也会额外适用;无论哪种情况,结果中都会列出这些义务。
结果会显示风险等级、指明决定该等级的条款的理由、任何适用的透明度义务;对于适用豁免的系统,还会显示第 6(4) 条和第 49(2) 条规定的义务。分类结果会保存到系统记录中,可在系统详情页面和仪表板的风险分布中查看,一并保存的还有各项回答以及得出该结果的分类规则版本。
分类逻辑摘要
向导按照该法案的条文顺序进行判定:
- 如果存在任何第 5 条所列的禁止行为 → 不可接受风险
- 否则,如果系统是需要第三方合格评定的 Annex I 产品或安全组件 → 高风险(第 6(1) 条)
- 否则,如果适用某个 Annex III 领域,且系统对自然人进行画像 → 高风险
- 否则,如果适用某个 Annex III 领域,且条件 (a) 至 (d) 均不满足 → 高风险(第 6(2) 条)
- 否则,如果适用某个 Annex III 领域,且满足 (a) 至 (d) 中的一项 → 不属于高风险:如有第 50 条义务则为有限,否则为最低,另需履行第 6(4) 条和第 49(2) 条规定的义务
- 否则,如果适用任何第 50 条义务 → 有限风险
- 否则 → 最低风险
根据系统记录生成的监管文件
系统完成分类后,其详情页面会提供该分类所要求的文件,这些文件基于平台已掌握的信息生成:系统记录、其数据集、监督措施、监测计划、FRIA、合格评定以及您的公司资料。
| 文件 | 适用情形 | 填充内容 |
|---|---|---|
| 技术文档(Annex IV) | 高风险 | Annex IV 的全部九个部分;预期用途、提供者和版本、附带来源和偏差状态的数据集、监督措施、风险和 FRIA 评估结果、监测计划。 |
| EU 符合性声明(Annex V) | 高风险 | Annex V 的全部八项内容;标识信息、提供者名称和地址、责任声明和符合性声明、个人数据声明,以及已记录的公告机构(如有)。 |
| Article 6(4) 评估 | 被排除在高风险之外的 Annex III 系统 | 所属领域、满足的条件、画像问题的回答、推理过程,以及随之产生的义务。 |