为 AI 系统设计决策边界
为 AI 系统设计决策边界
每一个 AI 系统都在做决策。而有所不同的——往往是隐性的——是这些决策被允许走多远。许多被归咎于"意外行为"的失败，实际上都是边界失败：系统完全按照设计行事，只是越过了任何人都没有明确界定的那个临界点。
决策边界很少是缺失的，它们只是被想当然了。一个模型带着"大体上该处理什么"的感觉被部署上线，其余一切都交给判断——通常是模型的判断，有时是操作者的判断，偶尔则谁的判断都不是。
在早期阶段，这种模糊感似乎可以应付：流量不大，上下文还新鲜，团队记得系统本打算做什么。但随着时间推移，这些假设会逐渐失效。系统被复用、改作他用、不断扩展；新的输入到来，新的依赖形成，边界在没有被重新审视的情况下不断被拉伸。
AI 并不认识非正式的界限，它只认识权限。
如果一个系统被允许行动，它就会行动；如果它没有被明确约束，它就会去探索自己权限的边缘。这不是鲁莽，而是优化。没有边界，坚持执行就成了默认行为。
清晰的决策边界回答一个简单的问题：系统要独自推进，必须满足什么条件？这些条件可以关乎置信度、影响、可逆性或新颖性。当条件满足时，自主是合适的；当条件不满足时，系统应该慢下来、升级处理，或者完全停止。
设计这些边界不是一项建模练习，而是一项运营练习。边界编码了风险承受度、监管姿态和组织问责，反映了人类必须留在回路中的位置——不是因为机器无能，而是因为后果超出了模型的视野。
设计良好的边界会减少摩擦，而不是增加摩擦。操作者不再反复怀疑输出，因为他们知道自主权的边界在哪里；AI 系统变得更可预测而非更难预测，因为它们的范围是明确的；失败变得更小，因为它们发生在被界定的区域之内。
边界的缺失会产生一种截然不同的结果：人们以非正式的方式补偿，信任不均等地被侵蚀，有些团队过度依赖，有些团队则用得不足。系统显得前后不一，而真正的问题在于，没有任何人曾就决策该在哪里停止达成一致。
决策边界不是一成不变的。随着系统成熟、上下文变化、利害关系改变，边界必须被重新审视。但如果没有最初定义边界的承诺，AI 就会在要求精确的环境里，一直是一个不受约束的行动者。
最重要的设计问题，不是你的 AI 能决定什么，而是它的权威在哪里终止。