你的 AI 运行得很好，真正的问题在于你的人工审核队列。
---
新工作流上线了。自动化处理明确的案例，任何不确定的都会升级转给人工。比例被设定为 90/10——十分之九的决策由系统处理，十分之一转人工审核。组织欢欣鼓舞：团队的速度提升了十倍。
然后队列开始增长。
它增长并不是因为系统出错了，而是因为一个大基数的 10% 仍然是一个非常大的数字。而且人类不会以同样的成本线性扩展。一个每小时处理一万个案例、转出其中一千个的系统，每小时大约需要一千个人工审核槽位。不是一百个，不是两百个，而是一千个。
升级转人工的算术，是 AI 系统设计中最被持续忽视的约束。
那笔没人算过的账
升级转人工的百分比相对看很小，绝对看却很大。一个每天处理一百万笔交易、准确率 95% 的系统，仍然会产生五万个需要人工审核的案例。以每次审核五分钟计算，每天就是四千多个人工时。
组织很少在部署前算这笔账。试点阶段量很小，升级队列一直空着。但随着量增长，人工审核的负担会按比例增长。而且与自动化不同，人工审核员不会随着规模扩大而变得更高效，他们会变得更慢，因为疲劳开始显现。
这个缺口会以三种模式显现：
队列积压膨胀。审核目标是基于产能设定的。当量超过产能时，积压就会增长。组织通过增加审核员来应对，但招聘和培训周期跟不上量的增长。需要审核与能够审核之间的缺口在每一轮循环中不断扩大。
负载下的审核压缩。当队列排满时，审核员会赶工。平均审核时间下降，人工审核的错误率上升。95% 的系统准确率如今配上了 80% 的人工审核准确率，而两者的综合可靠性低于任何单独一方。
静默过滤。操作人员发展出应对过载的经验法则：跳过任何看起来眼熟的案例，批准任何低于某个心理阈值的项，批量审核以更快清空队列。这些捷径没有记录、前后不一，也无法复现。
最可靠的“人在回路”设计，是那种不要求人在一个班次里超出其可持续能力的设计。这个数字比大多数组织设想的要低。
为什么规模化会击垮这条流水线
面对不断增长的队列，标准反应是加人。但这默认审核员可以互相替代、培训是即时的、增加产能不会引入协作开销。这些假设没有一个成立。
新审核员需要爬坡时间。在爬坡期，他们的错误率更高、吞吐量更低。资深审核员必须花时间培训、审核和纠正他们，这反而降低了资深群体的净产能。针对积压的短期补救，实际上在爬坡周期内降低了吞吐量。
还有一致性的问题。十个审核员不会像一个人那样在边缘案例上达成一致。最难分类的边界案例——也就是系统最没把握的那些——恰恰是人类分歧最大的。规模化下的队列里堆的不是简单的决策，而是系统遇到的最模糊、最重大、也最具争议的案例。
设计队列，而不只是设计模型
管理好转人工的组织，不是从准确率目标开始，而是从队列清空假设开始。一个审核员每小时能合理、持续地处理多少案例，并保持可接受的准确率？在什么量级下，组织的审核产能才能匹配系统的转人工速率？峰值负载时会发生什么——是有弹性产能，还是队列只会不断增长？
这些问题把设计重心从“让系统尽可能准确”转向“让系统保持人工审核产能之内”。有时这意味着收紧转人工阈值，只让最不确定的案例到达人工；有时意味着限制吞吐量以匹配审核产能；有时则意味着接受某些案例无法在期望的时间窗口内获得人工审核，并构建在此时能够优雅降级的工作流。
最好的设计把人工队列当作首要约束，并围绕它来校准其他一切。
如果你的系统此刻转出一千个案例，清空它们需要多久？又由谁来做这项工作？