上市后监测:Art. 72 合规
EU AI Act 第 72 条要求高风险 AI 系统的提供者以与 AI 技术性质和系统风险相称的方式,建立并记录上市后监测体系。该体系必须在 AI 系统的整个生命周期内,主动且系统地收集、记录和分析相关数据。借助 Venvera 中的上市后监测模块,您可以为每个 AI 系统定义、安排和跟踪监控计划,包括关键绩效指标(KPI)、审核频率和审核结果。本文将完整介绍每一项功能。
上市后监测的目的
根据 EU AI Act,上市后监测发挥着以下几项关键作用:
- 持续合规验证:确保 AI 系统在整个运行周期内持续满足该法规的要求,而不仅仅是在初次符合性评估时满足。
- 性能跟踪:持续监控 AI 系统的准确性、稳健性和可靠性,以发现性能下降、漂移,或在测试期间未显现的新问题。
- 事件检测:通过跟踪可能预示性能问题、偏差出现或安全隐患的 KPI,在这些问题演变为实际事件之前,对潜在的严重事件发出预警。
- 向主管机构提供证据:生成持续监控活动的书面记录,可应市场监管机构的要求提交,以证明您在主动落实合规。
- 反馈循环:将监控结果反馈到风险管理体系(Art. 9)和持续改进流程中,使提供者能够根据需要更新 AI 系统的风险概况和合规文档。
列表视图
在侧边栏中进入 EU AI Act → 监控。列表视图会显示所有 AI 系统的全部监控计划,并按下次审核日期排序(日期最近的排在最前,以突出即将到来的审核)。每一行显示计划标题、关联的 AI 系统、频率、下次审核日期、KPI 数量和状态。
使用搜索栏按标题或关联的 AI 系统名称筛选计划。搜索不区分大小写,并支持部分字符串匹配,便于您快速找到特定系统或主题的监控计划。
使用状态下拉菜单按计划状态筛选。常见状态包括活跃(监控正在进行)、已暂停(暂时中止)和已完成(AI 系统已停用,不再需要监控)。审核日期已逾期的活跃计划会以警告标识突出显示。
使用频率下拉菜单,按审核节奏筛选计划。可用的频率包括:
- 每日:每天审查并更新监控数据。适用于交易量大、必须快速发现漂移的关键任务型 AI 系统(例如实时欺诈检测、自主安全系统)。每日监控产生的数据最为精细,但需要投入大量资源。
- 每周:每周审查一次监控数据。适用于交易量适中的高风险系统,对这类系统而言,每周进行一次趋势分析就足以在新出现的问题变得严重之前将其发现。
- 每月:每月审查一次监控数据。作为标准的监控节奏,适用于大多数高风险 AI 系统。每月审查能够在全面性与资源效率之间取得平衡。
- 每季度:每三个月审查一次监控数据。适用于性能特征稳定、风险较低的系统,也可作为补充节奏,用于开展详细的深入审查,以配合更频繁的日常运营监控。
- 每年:每年审查一次监控数据。适用于自愿开展监控的最低风险系统,也可作为全面年度审查的节奏,以补充更频繁的日常运营监控。年度审查还有助于记录同比趋势,并为管理层报告提供支持。
创建新的监控计划
点击+ 添加计划打开创建表单。填写所有必填字段:
| 字段 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
| AI 系统 | 下拉列表 | 必填 | 选择此监控计划所覆盖的 AI 系统。下拉列表会列出您清单中的所有 AI 系统及其当前状态。每个监控计划必须且只能关联一个 AI 系统。一个 AI 系统可以有多个监控计划,例如,一个用于性能监控的计划(每日),另一个用于偏差监控的计划(每月),以及第三个用于全面合规审查的计划(每季度)。这种灵活性让您能够针对同一系统的不同风险维度调整监控力度。 |
| 标题 | 文本输入框 | 必填 | 监控计划的描述性标题(例如“欺诈检测:每日性能监控”“人力资源筛选:每月偏差审查”“信用风险:每季度合规审查”)。最多 300 个字符。标题应同时体现 AI 系统和监控计划的重点领域。同一 AI 系统内的标题必须唯一,以免在单个系统有多个计划时造成混淆。 |
| 描述 | 多行文本框 | 可选 | 对监控计划的范围、方法和目标的详细描述。请记录监控 AI 系统的哪些方面、使用哪些数据来源、采用哪些分析技术,以及每个审查周期的预期结果。如果监控计划针对的是已识别的特定风险,请引用 Art. 9 风险管理体系。请为每个 KPI 写明阈值定义:数值达到多少时应启动调查?该描述将作为执行监控活动人员的操作手册。最多 5,000 个字符。 |
| 频率 | 下拉列表 | 可选 | 选择审核频率:每日、每周、每月、每季度或每年。频率决定了在每次审核完成后,以多长的间隔重新计算监控计划的下次审核日期。请选择与 AI 系统的风险级别、交易量以及所跟踪 KPI 的重要程度相称的频率。Art. 72 要求监控“与 AI 技术的性质和风险相称”:过度监控会浪费资源,而监控不足则会造成合规缺口和盲点。 |
| KPI | 文本输入框(逗号分隔) | 可选 | 输入此监控计划所跟踪的关键绩效指标(KPI),以逗号分隔。精心选择的 KPI 示例:
|
| 下次审核日期 | 日期选择器 | 可选 | 下一次计划审核的日期。该日期用于计算逾期状态,并在仪表板上生成审核提醒。审核完成后,请根据监控频率将此字段更新为下一个计划日期。对于新计划,请根据您预计何时能获得足够的监控数据进行分析来设置首次审核日期。已逾期的审核日期(早于今天)会在整个平台中以红色突出显示,包括仪表板上的“需要审核”数量和监控列表视图。 |
审核工作流
当监控计划的下次审核日期到来时,负责人应遵循以下结构化流程:
从生产日志、分析仪表板以及任何自动化监控工具中,收集受监控 AI 系统的最新 KPI 数据。确保数据涵盖自上次审核以来的整个期间。
将当前 KPI 值与基准值以及监控计划描述中记录的既定阈值进行比较。找出已突破警告阈值或严重阈值的任何 KPI。
记录审核结果,包括所有 KPI 值、趋势观察以及检测到的任何异常。更新监控计划的备注,或创建一条审核记录。
如果任何 KPI 超出可接受的阈值,请调查其根本原因。记录调查方法、调查结果和结论。判断该问题是否对合规、安全或基本权利构成风险。
如果调查发现重大问题,请在 AI Act 事件报告模块中创建事件记录,和/或更新风险管理文档。对于严重问题,请立即上报高级管理层。
完成审核后,请根据监控频率更新下次审核日期。如果监控计划本身需要更新(新增 KPI、调整阈值、更改频率),请进行必要的编辑,以确保计划保持最新且有效。
这一结构化工作流可确保监控持续进行并留有记录,从而满足 Art. 72 的要求,并提供完善的审计追踪,证明您在 AI 系统的整个运行周期内积极开展合规管理。