从幻觉到事故：信心如何放大风险
从幻觉到事故：信心如何放大风险
如果它听起来是对的，会有人拦下它吗？
大多数组织都明白 AI 可能会出错。但人们较少理解的是：当错误被满怀信心地呈现出来时，它会多么迅速地演变成事故。问题并不只在于幻觉本身，而在于流畅性如何在人类系统中绕过怀疑。
自信的输出会触发一种有充分文献记载的心理反应。人们更可能接受那些流畅、果断、毫无可见迟疑地传递出来的信息。这不是判断力的缺陷；它是一种生存特质。在快速变化的环境中，信心常常被当作能力的替代指标。
AI 系统无意中利用了这一点。流畅的语言、整洁的排版和即时的响应，即便底层信号很弱，也会让人感觉很有权威。早期的错误很少被质疑。它们向下游流动，被复制进文档、嵌入决策，并因重复而不断强化。每一次复用都增加了它被感知的合法性。
幻觉就是这样变成事故的。不是在某一个步骤里，而是通过层层升级。一个推测性的答案变成了规划假设。一个假设变成了输入。一个输入变成了依赖。等到错误浮出水面时，它已经不再是 AI 的问题，而是运营的问题。
事故复盘往往聚焦于模型质量或提示词设计。这些因素很重要，但它们忽略了更宏观的模式。真正的助燃剂是：没有检查点的信心。当系统听起来是对的，人们就不再追问它们是否真的对。怀疑恰恰在最需要它的时刻消失了。
组织无意中奖励了这种行为。推动工作前进的产出受到表扬，拖慢事情的提问被搁置。随着时间推移，系统学到：信心比谨慎更安全；而人类则适应了信任阻力最小的路径。
降低这种风险并不需要让 AI 变得更无能，而是要让不确定性变得可见、且有后果。低信心的信号必须打断流程，而不是藏在元数据里。升级路径必须是明确的，而不是靠非正式的口口相传。审查必须由系统行为触发，而不是靠人的怀疑。
信心本身并不危险，失控的信心才危险。成熟的系统把流畅性当作一个风险因素，而不是一种安心。它们假设：任何听起来对的东西，除非被刻意拦下，否则都会传播得比它应有的更远。
如果它听起来是对的，会有人拦下它吗？