Venvera EU AI Act 仪表板,含 AI 系统清单与风险分类
EU AI Act 仪表板(示例数据)

上市后监测:Art. 72 合规

EU AI Act 第 72 条要求高风险 AI 系统的提供者以与 AI 技术性质和系统风险相称的方式,建立并记录上市后监测体系。该体系必须在 AI 系统的整个生命周期内,主动且系统地收集、记录和分析相关数据。借助 Venvera 中的上市后监测模块,您可以为每个 AI 系统定义、安排和跟踪监控计划,包括关键绩效指标(KPI)、审核频率和审核结果。本文将完整介绍每一项功能。

上市后监测的目的

根据 EU AI Act,上市后监测发挥着以下几项关键作用:

  • 持续合规验证:确保 AI 系统在整个运行周期内持续满足该法规的要求,而不仅仅是在初次符合性评估时满足。
  • 性能跟踪:持续监控 AI 系统的准确性、稳健性和可靠性,以发现性能下降、漂移,或在测试期间未显现的新问题。
  • 事件检测:通过跟踪可能预示性能问题、偏差出现或安全隐患的 KPI,在这些问题演变为实际事件之前,对潜在的严重事件发出预警。
  • 向主管机构提供证据:生成持续监控活动的书面记录,可应市场监管机构的要求提交,以证明您在主动落实合规。
  • 反馈循环:将监控结果反馈到风险管理体系(Art. 9)和持续改进流程中,使提供者能够根据需要更新 AI 系统的风险概况和合规文档。

列表视图

第 1 步:打开监控列表

在侧边栏中进入 EU AI Act → 监控。列表视图会显示所有 AI 系统的全部监控计划,并按下次审核日期排序(日期最近的排在最前,以突出即将到来的审核)。每一行显示计划标题、关联的 AI 系统、频率、下次审核日期、KPI 数量和状态。

第 2 步:搜索计划

使用搜索栏按标题或关联的 AI 系统名称筛选计划。搜索不区分大小写,并支持部分字符串匹配,便于您快速找到特定系统或主题的监控计划。

第 3 步:按状态筛选

使用状态下拉菜单按计划状态筛选。常见状态包括活跃(监控正在进行)、已暂停(暂时中止)和已完成(AI 系统已停用,不再需要监控)。审核日期已逾期的活跃计划会以警告标识突出显示。

第 4 步:按频率筛选

使用频率下拉菜单,按审核节奏筛选计划。可用的频率包括:

  • 每日:每天审查并更新监控数据。适用于交易量大、必须快速发现漂移的关键任务型 AI 系统(例如实时欺诈检测、自主安全系统)。每日监控产生的数据最为精细,但需要投入大量资源。
  • 每周:每周审查一次监控数据。适用于交易量适中的高风险系统,对这类系统而言,每周进行一次趋势分析就足以在新出现的问题变得严重之前将其发现。
  • 每月:每月审查一次监控数据。作为标准的监控节奏,适用于大多数高风险 AI 系统。每月审查能够在全面性与资源效率之间取得平衡。
  • 每季度:每三个月审查一次监控数据。适用于性能特征稳定、风险较低的系统,也可作为补充节奏,用于开展详细的深入审查,以配合更频繁的日常运营监控。
  • 每年:每年审查一次监控数据。适用于自愿开展监控的最低风险系统,也可作为全面年度审查的节奏,以补充更频繁的日常运营监控。年度审查还有助于记录同比趋势,并为管理层报告提供支持。

创建新的监控计划

点击+ 添加计划打开创建表单。填写所有必填字段:

字段类型是否必填说明
AI 系统下拉列表必填选择此监控计划所覆盖的 AI 系统。下拉列表会列出您清单中的所有 AI 系统及其当前状态。每个监控计划必须且只能关联一个 AI 系统。一个 AI 系统可以有多个监控计划,例如,一个用于性能监控的计划(每日),另一个用于偏差监控的计划(每月),以及第三个用于全面合规审查的计划(每季度)。这种灵活性让您能够针对同一系统的不同风险维度调整监控力度。
标题文本输入框必填监控计划的描述性标题(例如“欺诈检测:每日性能监控”“人力资源筛选:每月偏差审查”“信用风险:每季度合规审查”)。最多 300 个字符。标题应同时体现 AI 系统和监控计划的重点领域。同一 AI 系统内的标题必须唯一,以免在单个系统有多个计划时造成混淆。
描述多行文本框可选对监控计划的范围、方法和目标的详细描述。请记录监控 AI 系统的哪些方面、使用哪些数据来源、采用哪些分析技术,以及每个审查周期的预期结果。如果监控计划针对的是已识别的特定风险,请引用 Art. 9 风险管理体系。请为每个 KPI 写明阈值定义:数值达到多少时应启动调查?该描述将作为执行监控活动人员的操作手册。最多 5,000 个字符。
频率下拉列表可选选择审核频率:每日、每周、每月、每季度或每年。频率决定了在每次审核完成后,以多长的间隔重新计算监控计划的下次审核日期。请选择与 AI 系统的风险级别、交易量以及所跟踪 KPI 的重要程度相称的频率。Art. 72 要求监控“与 AI 技术的性质和风险相称”:过度监控会浪费资源,而监控不足则会造成合规缺口和盲点。
KPI文本输入框(逗号分隔)可选输入此监控计划所跟踪的关键绩效指标(KPI),以逗号分隔。精心选择的 KPI 示例:
  • 准确率:以真实标签为基准衡量的整体预测准确率。
  • 误报率:被错误分类为阳性的阴性样本所占的比例。
  • 漏报率:被错误分类为阴性的阳性样本所占的比例。
  • 人口统计均等:各受保护群体之间正面结果比率的差异。
  • 响应延迟:AI 系统生成输出所需的时间。
  • 数据漂移评分:衡量输入数据分布相对于训练数据偏移程度的统计指标。
  • 模型置信度分布:模型输出中置信度分数的分布,用于检测校准漂移。
  • 按子群体划分的错误率:按人口统计或运营子群体细分的准确率,用于发现新出现的偏差。
每个 KPI 都应对应一个可衡量的指标,并在描述字段中记录已定义的阈值。定义明确的 KPI 是有效开展上市后监测的支柱。
下次审核日期日期选择器可选下一次计划审核的日期。该日期用于计算逾期状态,并在仪表板上生成审核提醒。审核完成后,请根据监控频率将此字段更新为下一个计划日期。对于新计划,请根据您预计何时能获得足够的监控数据进行分析来设置首次审核日期。已逾期的审核日期(早于今天)会在整个平台中以红色突出显示,包括仪表板上的“需要审核”数量和监控列表视图。
Art. 72 要求概要:上市后监测体系必须:(a)在 AI 系统投放市场或投入使用之前建立;(b)主动且系统地收集、记录和分析由部署者提供或通过其他来源收集的相关数据;(c)与 AI 技术的性质和风险相称;(d)将相关数据反馈到风险管理体系(Art. 9)中,以更新风险评估;(e)对于高风险 AI 系统,构成质量管理体系(Art. 17)的一部分;以及(f)将上市后监测计划作为技术文档(Annex IV)的组成部分。请确保您的各项监控计划整体上满足所有这些要求。
提示(将监控与事件关联):当监控审查发现超出既定阈值的异常或性能问题时,请在 AI Act 事件报告模块中创建一条事件记录,以正式记录并跟踪该问题。这会在您的监控活动与事件管理流程之间建立有据可查的关联,向审计师证明您的监控体系能够有效地及早发现问题,并且已识别的问题得到了妥善管理,直至解决。请在事件描述中引用该监控计划以及触发调查的具体 KPI。
警告(在投放市场之前制定监控计划):Art. 72(1) 要求在 AI 系统投放市场或投入使用之前建立上市后监测体系。请不要等到部署之后才创建监控计划。请在开发阶段定义监控计划,并将其纳入技术文档包。部署后才创建的监控计划可能会被监管机构视为不符合 Art. 72(1) 的证据。请至少在登记 AI 系统的同时创建一份监控计划草稿。

审核工作流

当监控计划的下次审核日期到来时,负责人应遵循以下结构化流程:

第 1 步:收集 KPI 数据

从生产日志、分析仪表板以及任何自动化监控工具中,收集受监控 AI 系统的最新 KPI 数据。确保数据涵盖自上次审核以来的整个期间。

第 2 步:与阈值进行比较

将当前 KPI 值与基准值以及监控计划描述中记录的既定阈值进行比较。找出已突破警告阈值或严重阈值的任何 KPI。

第 3 步:记录审核结果

记录审核结果,包括所有 KPI 值、趋势观察以及检测到的任何异常。更新监控计划的备注,或创建一条审核记录。

第 4 步:调查超出阈值的情况

如果任何 KPI 超出可接受的阈值,请调查其根本原因。记录调查方法、调查结果和结论。判断该问题是否对合规、安全或基本权利构成风险。

第 5 步:必要时上报

如果调查发现重大问题,请在 AI Act 事件报告模块中创建事件记录,和/或更新风险管理文档。对于严重问题,请立即上报高级管理层。

第 6 步:更新下次审核日期

完成审核后,请根据监控频率更新下次审核日期。如果监控计划本身需要更新(新增 KPI、调整阈值、更改频率),请进行必要的编辑,以确保计划保持最新且有效。

这一结构化工作流可确保监控持续进行并留有记录,从而满足 Art. 72 的要求,并提供完善的审计追踪,证明您在 AI 系统的整个运行周期内积极开展合规管理。