真正能告诉你 AI 是否健康的指标
真正能告诉你 AI 是否健康的指标
我审阅过很多 AI 仪表盘。它们大多数都在衡量错误的东西。
它们追踪 uptime（系统在运行）、吞吐量（系统在处理）、模型准确率（系统在测试数据上是正确的）。这些都有用，但没有一个能告诉你，你的 AI 在生产环境中是否健康。
问题不在于团队不衡量，而在于他们衡量的是「容易衡量的」，而不是「真正重要的」。而当指标与现实不符时，领导者就会做出错误的决策——在那些纸面上好看的系统上追加投资，却在真正决定成败的运营基础设施上投入不足。
令人鼓舞的消息是：正确的指标确实存在，而且收集起来甚至并不难，只需要朝不同的方向看。
三个揭示运营健康的指标
1. 看覆写率，而不是准确率。准确率衡量的是模型；覆写率衡量的是模型与使用它的人之间的关系。低覆写率加高参与度，意味着真正的信任；低覆写率加低参与度，意味着系统已经把操作员训练得「不再检查」了——这是一种危险状态；高覆写率则意味着系统没有针对真实条件进行校准。
按类型追踪覆写：确认（操作员同意）、纠正（操作员调整）、覆写（操作员推翻）。每一种都告诉你关于系统健康的不同信息。
2. 升级到解决的时间。当一个 AI 系统把一个决策升级给人类时，需要多久才能解决？这个指标能揭示你的升级路径是否设计得当。快速解决意味着归属清晰、上下文充分；缓慢解决则意味着操作员不知道谁该为这个决策负责，或者缺乏做出决策所需的信息。
要持续追踪这个指标。随着系统成熟，升级量应该下降，而解决速度应该上升——这两者都是「系统与组织正在一起学习」的信号。
3. 影子流程的权重。这是最难浮出水面的指标，却最有揭示力。影子流程——手动电子表格、私人笔记、非官方的变通办法——是对「未被解决的系统缺口」的直接衡量。一个团队背负的影子流程权重越重，其 AI 系统制造的、未被衡量的运营成本就越高。
你无法自动化地检测影子流程，但你可以每季度问操作员：「有哪些事你是在系统之外做的、而系统本该处理的？」答案会精确地告诉你接下来该在哪里投入。
那个会说谎的指标
要特别警惕一个指标：测试数据上的模型准确率。它在生产环境中几乎总是具有误导性。
测试数据反映的是过去的情况，生产数据反映的是当前的运营。等到你的测试准确率下降时，你的生产系统其实已经退化好几个星期了。要把模型准确率当作滞后指标，而不是领先指标；用它来做发布决策，而不是健康监控。
一个简单的开始
你不需要一个复杂的可观测性平台，就能开始衡量 AI 健康。选一个工作流，按类型追踪两周的覆写率，衡量升级解决时间，再问一位操作员关于他的影子流程。
三十分钟内，你对 AI 系统真实健康的了解，就会超过大多数仪表盘一年能告诉你的。
数字正在向你讲述一个故事。问题在于，你是否衡量对了那个章节。