Venvera EU AI Act 仪表板,含 AI 系统清单与风险分类
EU AI Act 仪表板(示例数据)

人工监督:Art. 14 措施与控制措施

EU AI Act 第 14 条要求,高风险 AI 系统在设计和开发时应确保其在使用期间能够由自然人进行有效监督。Venvera 中的人工监督模块提供了一个结构化的登记册,用于记录监督措施、透明度通知、人工干预程序、监测规程和偏见防护措施。每条记录都关联到一个特定的 AI 系统,并包含监督人、审核计划和能力验证等详细信息。本文将介绍该模块的各个方面。

人工监督为何重要

人工监督是 EU AI Act 最具特色的要求之一。它体现了该法规的核心原则:AI 系统应增强人类决策,而不是完全取代人类决策,在决策会影响人们基本权利、健康或安全的高风险场景中尤其如此。Art. 14 要求监督措施与 AI 系统的风险相称,并通过人在回路中(human-in-the-loop)、人在回路上(human-on-the-loop)或人类主导(human-in-command)的方式加以实施。其目的是确保具备相应能力的人员始终能够理解和监控 AI 系统,并在必要时覆盖其输出或停止该系统。

列表视图

第 1 步:打开人工监督列表

在侧边栏中进入 EU AI Act → 人工监督。列表视图会显示所有 AI 系统的全部监督记录,并按最后更新日期排序。每一行显示记录标题、关联的 AI 系统、类型徽章、状态、监督人姓名和下次审核日期。

第 2 步:搜索记录

使用搜索栏按标题、监督人姓名或 AI 系统名称筛选记录。搜索支持不区分大小写的部分匹配。这有助于查找分配给特定人员或与特定 AI 系统相关的所有监督记录。

第 3 步:按状态筛选

使用状态下拉菜单,按记录的当前状态进行筛选。状态通常包括有效、审核中、草稿和已过期。“有效”的措施当前正在实施。“审核中”的措施正在重新评估。“草稿”状态的措施正在制定中,尚未实施。“已过期”的措施已超过其审核间隔且未获续期。

第 4 步:按类型筛选

使用类型下拉菜单,按监督记录的具体类型进行筛选。当您需要审查整个 AI 组合中某一特定类别的所有记录时,这一功能非常有用。

记录类型

人工监督模块支持五种不同的记录类型,每种类型分别对应 Art. 14 合规的不同方面:

类型Art. 14 对应条款说明
人工监督Art. 14(1)-(2)一般性的人工监督措施,用于明确由谁监督 AI 系统、监控哪些内容、如何进行干预以及监督活动的频率。这是最主要的记录类型,直接回应了高风险 AI 系统须由自然人进行有效监督这一核心要求。每个高风险 AI 系统都应至少有一条记录其监督框架的“人工监督”记录。该记录应明确监督方式是人在回路中(human-in-the-loop,由人员批准每项决策)、人在回路上(human-on-the-loop,由人员监控并可进行干预),还是人类主导(human-in-command,由人员拥有全面权限并可随时覆盖)。
透明度通知Art. 14(4)(a)记录向受 AI 系统决策影响的人员提供的透明度信息。Art. 14(4)(a) 要求监督措施能够使监督人充分了解 AI 系统的能力和局限性。透明度通知记录披露哪些信息、向谁披露、以何种形式披露以及在流程的哪个环节披露。示例包括告知求职者简历筛选中使用了 AI 的通知,或告知保险申请人 AI 参与了风险评估的通知。该记录应包含通知的实际文本,或指向其发布位置的链接。
人工干预程序Art. 14(4)(d)-(e)一项成文的程序,使人工监督人能够决定不使用 AI 系统的输出、覆盖或撤销 AI 系统的输出,或者干预系统运行、通过停止机制中断系统。人工干预程序对于证明人员始终保有最终控制权至关重要。该记录应明确监督人覆盖某项决策时必须采取的具体步骤、实现覆盖的技术机制(例如手动覆盖按钮、上报工作流、系统关闭命令)、应当行使覆盖的条件,以及发生覆盖时所需的记录。
监测规程Art. 14(4)(b)-(c)一项规程,用于定义人工监督人为确保 AI 系统持续在预期参数范围内运行而开展的持续监控活动。这包括监控异常输出、数据漂移、性能下降和新出现的偏见。该规程应明确监控哪些指标、多久审查一次、哪些阈值会触发调查或干预,以及如何记录和上报监控结果。监测规程是对监控模块中上市后监测计划的补充,但专门侧重于人工监督这一维度。
偏见防护措施Art. 14(2)一项专门的防护措施,旨在预防、检测或缓解 AI 系统运行中的偏见。数据层面的偏见检测由数据治理模块负责,而人工监督模块中的偏见防护措施侧重于运行偏见,即系统在生产环境中使用期间出现的偏见,其成因可能是人群特征变化、反馈循环或交互效应。该记录应描述所应对的偏见风险、防护机制(例如人口统计均等监控、公平性仪表板、定期人工审计决策),以及检测到偏见时触发的纠正措施。

创建新记录

点击+ 添加措施打开创建表单。填写所有必填字段:

字段类型是否必填说明
标题文本输入框必填监督措施的描述性标题(例如“信用风险模型:人在回路中决策审核”“聊天机器人透明度通知:客户服务”“紧急人工干预程序:自动分诊系统”)。最多 300 个字符。标题应清楚表明措施类型及其适用的 AI 系统。
AI 系统下拉列表必填选择此监督措施适用的 AI 系统。下拉列表会列出您清单中的所有 AI 系统。每项监督措施必须且只能关联一个 AI 系统。如果同一监督程序适用于多个系统,请为每个系统分别创建记录,以保持清晰的可追溯性。
类型下拉列表可选从上述五个选项中选择监督记录的类型:人工监督、透明度通知、人工干预程序、监测规程或偏见防护措施。选择正确的类型可确保分类准确,并支持对整个 AI 组合进行完整性分析。
描述富文本编辑器可选对监督措施的详细描述。这是记录的主体内容,应尽可能全面,以完整记录该措施。对于人工监督记录,请描述监督方式、范围和活动。对于人工干预程序,请提供分步说明。对于透明度通知,请提供完整的通知文本。对于监测规程,请写明指标、阈值和上报程序。对于偏见防护措施,请写明偏见风险、检测方法和缓解行动。富文本编辑器支持格式设置、列表、表格和链接。没有字符数限制。
监督人姓名文本输入框可选被指定为此措施人工监督人的人员姓名。这里应填写具体的个人,而不是职位名称(但应另行记录其角色)。Art. 14 强调,监督必须由具备必要能力、培训和权限的自然人执行。如果监督职责在团队成员之间轮换,请填写团队负责人的姓名,并在描述中记录轮换安排。
监督人角色文本输入框可选监督人在组织中的角色或职位(例如“高级数据科学家”“合规官”“AI 伦理负责人”“运营经理”)。角色可以说明监督人的资质和权限级别。Art. 14(4)(a) 要求监督人充分了解 AI 系统的能力和局限性,这意味着其需要具备一定的技术或领域专业知识。
审核间隔(天)数字输入框可选此监督措施两次计划审核之间相隔的天数。例如,输入 90 表示该措施应每 90 天审核一次。审核间隔到期后,记录的状态会自动变为“审核中”(或者生成一条通知,具体取决于您的配置),并且该记录会计入仪表板上的“需要审核”数量。建议的间隔:关键高风险系统为 30 天,一般高风险系统为 90 天,有限风险系统为 180 天。
能力已验证复选框可选勾选此复选框,以确认指定的监督人具备按照 Art. 14 的要求有效监督 AI 系统所需的能力、培训和权限。能力验证应包括:(a)了解 AI 系统的预期用途、能力和局限性;(b)能够正确解释系统的输出;(c)知道何时以及如何行使覆盖机制;(d)了解潜在偏见以及可能引发偏见的条件。请在描述字段中记录具体的培训或资质。未勾选的复选框会作为需要关注的缺口,计入“需要审核”数量。
人工干预能力复选框可选勾选此复选框,以确认存在可使监督人覆盖、忽略或撤销 AI 系统输出,或中断系统运行的技术机制。Art. 14(4)(d)-(e) 明确要求监督人能够“在任何特定情况下决定不使用高风险 AI 系统,或以其他方式忽略、覆盖或撤销其输出”,并能够“干预高风险 AI 系统的运行,或通过‘停止’按钮或类似程序中断系统”。如果未勾选此复选框,系统会显示警告,建议立即为高风险系统实施人工干预能力。
Art. 14 合规核对清单:对于每个高风险 AI 系统,请确保至少记录以下内容:(1)一条定义监督框架和方式的“人工监督”记录;(2)一项详细说明监督人如何进行干预的“人工干预程序”;(3)一项明确持续监控活动的“监测规程”;以及(4)如果系统与自然人互动或对自然人产生影响,还需一项“透明度通知”。对于任何处理自然人相关数据的系统,建议设置“偏见防护措施”。
提示(关联培训记录):能力验证复选框表明监督人是否具备资质,但不会记录其培训的详细信息。建议另行维护一份培训日志(可以写在描述字段中,也可以保存在外部系统中),记录已完成的培训项目、完成日期、培训讲师以及涵盖的主题。这些证据在监管审计中极具价值。建议定期开展复训,并相应更新能力验证和审核间隔。
警告(自动化偏见):人工监督旨在缓解的关键风险之一是“自动化偏见”,即人工监督人过度依赖 AI 系统的输出、未能作出独立判断的倾向。您的监督措施应主动应对这一风险。建议在监督程序中纳入以下内容:强制审查随机抽取的 AI 决策样本(而不仅仅是被标记的决策)、定期开展“挑战”演练(要求监督人识别故意设置的错误输出),以及针对导致自动化偏见的心理因素开展培训。请在相关监督记录的描述字段中记录这些应对措施。