为什么“人在回路”不是一种治理策略
Richard Teachout
Ashley Furniture Industries 首席技术官 —— 高管级技术领导者、创业者、AI 领导者、架构师、问题解决者、前开发者。
2026 年 2 月 25 日
为什么“人在回路”不是一种治理策略
“人在回路”听起来很负责任。它传达出谨慎、监督、安全。
但在大多数组织中，它已悄然变成了完全不同的东西：一个勾选框。
在流程中随便安排一个人，并不是治理，而是放弃责任。
HITL 如何失去了它的意义
最初，“人在回路”是一条设计原则：
- 人类发起
- 人类验证
- 人类推翻
- 人类升级
随着时间推移，它退化成了一个含糊的保证：
“别担心，有人参与其中。”
在哪里参与？何时参与？以什么权限参与？
大多数系统从不回答这些问题。
安全的幻觉
在决策做出之后才审查输出的人，不是控制；在伤害发生之后才被警示的人，不是治理；只能在缺乏背景的情况下批准或拒绝的人，不是“在回路中”。
那是一个充当责任挡箭牌的人，而不是一个决策者。
安全的幻觉往往比完全没有安全更糟——因为它推迟了组织意识到自己已经失控的那一刻。
治理、升级与干预
这些概念经常被混为一谈。
它们并不相同。
- 治理界定谁拥有决策、权限在哪里
- 升级界定控制权何时转移
- 干预界定决策如何被改变或叫停
大多数 AI 系统直接跳到“干预”——却没有设计治理或升级。
结果是：人类在技术上在场，却在结构上无力。
权限比在场更重要
一个在回路中却没有权限的人，只是个目击者。
真正的治理需要：
- 清晰界定的决策边界
- 明确的升级阈值
- 停止、放慢或推翻系统的权力
- 经得起事件、审计和公众审视的责任制
如果人类无法在正确的时刻进行有意义的干预，那么他们就不在回路中——而是在回路之外。
为什么这在规模化时会失败
随着 AI 系统规模化：
- 速度加快
- 决策复利叠加
- 边缘情况成倍增加
人类审查无法简单地在事后“加上去”。
治理必须是架构性的，而不是流程性的。
否则，组织最终会得到：
- 人类为他们无法控制的决策背锅
- 系统被信任的程度超出了设计者的本意
- 风险悄然累积，直到无法回避
领导者必须回答的问题
如果一个人无法进行有意义的干预，他们真的“在回路中”吗？
还是说你只是创造了一个看起来被治理的系统——直到最关键的那一刻？