Richard Teachout // Teachout.com
← 全部文章

决定你的 AI 是否真正有效的那个数字(而没有人设置它)

Richard Teachout
Richard Teachout Ashley Furniture Industries 首席技术官 —— 高管级技术领导者、创业者、AI 领导者、架构师、问题解决者、前开发者。 July 6, 2026
AI 治理
决定你的 AI 是否真正有效的那个数字(而没有人设置它)

在每个 AI 治理框架的某个地方,都有一个数字。它是那个阈值:低于它,决策必须升级给人类;高于它,决策可以自主进行。0.85 的置信度分数。3 的风险评级。超过 90% 的相似度匹配。

这单单一个数字就决定了系统的实际自主化率。而在大多数组织中,它被某个人设置过一次,而那个人早已不记得为什么,从此再也没人重新审视过。

这个阈值是大多数团队从未明确做出过的最重大的治理决策。它决定了吞吐量、错误率、人工工作量和运营风险。而它往往是整个系统中最少被审视的参数。

单个数字的速度

阈值设为 0.9 意味着系统会把低于该置信度的一切升级处理。如果底层模型的置信度分布使得只有 30% 的输出高于 0.9,那么系统就在以 30% 的自主化率运行——其余 70% 进入人工队列。阈值设为 0.7 或许能自主处理 80% 的输出,但代价是把低置信度的决策当作最终决策来接受。

这两个值本身并无对错之分。但它们之间的选择,决定了系统是「以自主为主、偶尔升级」,还是「以人工为主、偶尔自动化」。这不是一个微不足道的区别。它改变了人员配置需求、延迟预期、错误预算和风险敞口。

问题不在于团队设置了错误的阈值,而在于大多数团队根本没有设置它。他们沿用了模型的默认值,或采用了供应商所配置的数值,或挑了一个感觉稳妥的整数。这个数字变成了基础设施,默默统治着系统所做出或推迟的每一个决策。

一个从未被刻意设置过的阈值,就无法被刻意地为之辩护。而一个无法为之辩护的阈值,终将在压力之下、在缺乏分析的情况下、在最糟糕的时刻被更改。

关于阈值的三个问题

一个站得住脚的阈值,需要对三个问题给出明确的答案:

一个错误的自主决策会带来什么后果?一个把发货延误一天的错误分类,与一个剥夺了医疗救治的错误分类,其代价截然不同。阈值应当反映后果的严重程度与可逆性。高后果决策需要更高的阈值,无论模型表现如何。

升级处理的成本是多少?每一个送交人工审核的案例都会消耗时间、注意力和产能。阈值决定了人工成本与机器风险之间的比例。审核产能有限的组织必须设置更高的阈值,以保持队列可控,即便这意味着接受更多的自主错误。

运营环境是怎样的?在低流量下有效的阈值,在高流量下可能失效。在一种输入分布下有效的阈值,在输入分布发生变化时可能失效。阈值必须对系统运行所处的条件保持敏感,而不仅仅是对其测试时的条件敏感。

为什么阈值会在无人察觉中漂移

即便阈值是被刻意设置的,它也会漂移。模型会通过微调或重新训练而变化。随着新案例的到来,输入分布会发生偏移。随着法规演变或业务优先级变化,运营环境也会改变。原有的阈值已不再适用于当前的条件。

但阈值依旧留在原地,因为没人去核查。系统仍在运行,队列仍在被清空。没有人去问,这个阈值是否还能产生预期的自主与安全之间的平衡。

成熟的组织把阈值审查当作一个按计划进行的治理事件,而非一次性的设计决策。他们每季度重新审视这个数字,或在模型变化时,或在错误代价结构发生变化时。他们记录下推理过程,好让下一个人明白当初为什么选择了 0.85 而不是 0.9。

先于一切的问题

在设置任何阈值之前,还有一个大多数团队会跳过的问题:这个决策到底该不该被自动化?并非每一个可以自动化的决策都应该自动化。有些决策后果太重、太依赖情境、或太不规律,无法托付给一个固定阈值。最重要的治理决策不是把线画在哪里,而是到底要不要画这条线。

如果你在系统中找到这个阈值,并去问当初设置它的人,请他们解释当年是如何选定这个数字的,他们能给出一个令你满意的答案吗?

觉得这套论述适合你的活动吗?跟我说说那个场合—— 日程是有选择的.

开始对话
English简体中文Tiếng Việt