AI 一直在运转。那正是问题所在。
大多数运营性 AI 故障并非始于戏剧性的错误。它们始于看似成功的东西：一个本该暂停却持续运行的系统。一个自动检查比平时多标记了几个边界情况。一个推荐引擎在某个狭窄的模式上越来越自信。一个内容模型在填补空白，而不是去问这个空白是否本就不该存在。没有任何东西明显坏掉。系统在“正常工作”。
实际发生的事更为隐蔽、也更具结构性：决策正在被做出，却没有退出条件。
失控的自动化是如何产生的
不受约束的 AI 不只是犯错，它会让错误不断叠加。每个输出都成为下一步的输入，若没有一个明确的时刻去停止、重新评估或升级，小的误差就会逐渐累积成势。系统周围的组织被拖入被动的姿态——去纠正、去覆盖、去为系统善后——而不是在上游塑造它的行为。
以一个已经运行数月的推荐系统为例。起初，它能够以合理的准确度呈现相关条目。但随着用户行为发生变化——季节性模式、新的库存、变化的偏好——模型的推荐开始漂移。它继续基于过时的相关性生成输出。没有哪一条单独的推荐是明显错误的，但久而久之，系统推荐的内容已不再符合用户意图。组织把点击率的缓慢下滑归因于外部因素。系统继续运行，因为没有人设计出一个能让它停下来重新评估的条件。
持续运行的三种代价
人的疲惫。操作人员被要求监控那些自己不会减速的系统。审核队列填满的速度超过了清空的速度。例外变成了常态。久而久之，人们不再纠正每一个问题，因为数量之大让持续的警觉难以为继。机器全天候生成输出；而人一次只能维持几个小时的高质量审核。当机器从不暂停，监督的质量就会退化，系统也会从越来越差的监督中学习。
组织的错位。团队去适应系统的节奏，而不是质疑它的方向。日程围绕它的吞吐量来安排，预期基于它的产出量来设定。当反馈回路很长——数周或数月——系统可能在任何人察觉之前就已处理了成千上万笔有缺陷的事务。到那时，组织早已适应了这种有缺陷的输出。
治理信任的侵蚀。当利益相关者看到 AI 系统在明显退化时仍在继续运行，他们会开始质疑是否还有人在掌控。反应往往是过度纠偏：全面限制或叫停——这些本可以通过上游更好的设计来避免。
一个从不停止的系统在仪表盘上看起来很棒。但那些隐藏的代价——悄然犯下的错误、操作人员的疲惫、缓慢的漂移——不会出现在任何报告里。若对这些代价缺乏可见性，就没有动力去为“停止”而设计。
设计有意义的停止条件
停止条件有多种形式。基于置信度的停止使用一个最低阈值，低于该阈值系统就不会自主行动——但这个阈值必须取决于每个具体情境中的出错成本，而非一个通用的标准。基于漂移的停止对照基线监控性能，并在偏差超出可容忍范围时发出信号。基于时间的停止要求系统在连续运行一段设定时间后由人工重新授权，即便看起来一切正常，也要强制进行定期重新评估。基于后果的停止会在某项行动的潜在影响超过预定阈值时暂停系统——这对财务、安全关键和运营类系统至关重要。
既然停止条件的价值如此明显，为什么它们却常常缺失？因为它们很难事先界定。团队在系统上线生产之前并不知道失败模式会是什么样；而一旦系统运行起来并创造价值，添加约束反而像是在倒退。停止条件还需要有人负责——必须有人监控它们、响应它们，并决定是否重启系统。在责任归属明确之前，边界始终无法确定。
组织的转变
允许 AI 系统暂停并不是承认软弱。没有哪个模型能看到它所运行其中的整个系统——监管约束、下游依赖、不断变化的激励，或是人的后果。这些边界必须被设计进去、被认领负责，并随着系统的扩展而不断重新审视。
另一种选择是信任的缓慢侵蚀。团队会认识到：AI 总会行动，即便它本不该如此。覆盖变成习惯，升级总是姗姗来迟。等到真正的失败显现时，系统早已训练整个组织去忽视早期的预警信号。
停止并不是自动化的对立面，而是它的一部分。
你的 AI 知道什么时候不该行动吗？