你的 AI 大多数时候都是错的。只要你为此做好了设计，这没关系。
一个在 80% 的时间里都正确的 AI 系统，每五次尝试就会给出一次错误答案。这听起来像是失败。但对许多运营用例而言，方向正确、却以可接受的方式出错的输出是完全可用的。问题在于，系统周围的工作流是为二元结果而设计的——对或错、成功或失败、通过或拒绝。
假设二元准确性的工作流，一旦遇到部分正确就会崩溃。而 AI 系统很少会「干净地」失败。
错误的光谱
当 AI 产生一个并非完全正确的输出时，错误的性质比错误本身更重要。一个把中等安全情境判为轻微风险的系统，与一个把重大风险判为安全的系统，行为截然不同。一个丢掉细枝末节的摘要器，与一个颠倒句子含义的摘要器，行为截然不同。一个建议可接受替代方案的推荐器，与一个建议危险行动方案的推荐器，行为截然不同。
运营上的问题不是系统是对还是错，而是系统是否「足够正确」到让下游流程仍能运转、这种错误是否可被检测，以及错误的后果是否被限定在一定范围内。
把所有错误一视同仁的组织，会错过三个重要的区分：
可容忍的错误。在低风险领域，一个分类偏差一个类别可能完全可接受。审查每一个临界案例的成本，可能超过偶尔误分类的成本。决定哪里可以容忍错误，是一个治理选择，而非技术选择。
可检测的错误。有些错误对系统本身是显而易见的——低置信度分数、相互冲突的内部信号——而另一些则是不可见的。设计能在错误传播之前就暴露「可检测错误」的工作流，比试图消除所有错误更有价值。
被圈限的错误。最危险的 AI 输出不是那些错误的输出，而是那些以「级联」方式出错的输出。一个在人工审阅关卡就停下来的错误分类，只是不便；一个喂给自动化流水线并触发不可逆行动的错误分类，则是负债。
目标不是构建永不犯错的系统，而是构建这样的系统：其错误是被圈限的、可检测的，并且在最关键的场景中无关紧要。
设计能在不完美中存活的工作流
优雅降级需要在工作流中构建「余量」。余量意味着当出错时，有足够的时间去捕获它、有能力去处理它，并且有一条回到正常运营的路径。余量的缺失，正是把小错误变成系统故障的原因。
有三种模式支持优雅降级：
阈值分层。不要只用一个「通过/不通过」的决策点，而是在不同阶段使用多个阈值。一个早期检查来捕获重大错误，一个过程中间检查来捕获类别错误，再加一个人工终审来捕获边缘情况。每一层都被设计来处理不同类型的错误，且没有哪一层被期望能捕获一切。
部分接受。一个把 AI 输出当作「方向正确」接受、却根据置信度调整特定字段的工作流，比一个要么全盘接受、要么全盘拒绝输出的工作流更具弹性。系统标记出它不确定的部分，审阅者只检查那些部分。这比全面审查更快，比完全自动化更安全。
可逆行动。只要可能，系统触发的行动就应该是可逆的。一封自动邮件可以被撤回，一笔自动补货可以被取消，一个自动标记可以被移除。错误的代价是逆转行动的代价，而非行动本身的代价。为可逆性而设计，能降低不完美带来的后果。
可容忍错误的成熟度曲线
随着组织在 AI 上积累经验，它们对部分正确的容忍度会发生变化。早期部署往往偏保守——只有系统高度自信时才信任它，所有东西都要审查。随着时间推移，当操作员摸清哪些故障模式是良性的、哪些是后果严重的，容忍度便会扩大。
但这种扩大只有在组织完成了「把错误映射到后果」的工作之后才是安全的。没有这种映射，容忍度就是通过暴露和习以为常而增加，而非通过分析。而习以为常并不等同于理解。
那些能够优雅降级的组织，正是回答了大多数团队回避的问题的组织：可接受的错误在实践中是什么样子的，以及你如何在它变成问题之前就发现它？
如果你的系统每五次输出就有一次部分出错，你的工作流是能撑过去，还是会崩溃为全面审查？