Your AI's Confidence Score, Translated for Humans
你的 AI 有一个置信度分数。你的操作员不知道它意味着什么。所以它等于不存在。
工程师把它做出来了。仪表盘上显示着它。而在你组织的某个地方，一个正看着 AI 生成答案的人，正在试图判断 0.87 是“挺有把握”还是“基本确定”。他们在猜。当人们靠猜来处理置信度时，会做出最糟的判断——信任错的东西，怀疑对的东西。
置信度分数是你的 AI 能告诉你的最有用的东西，但如果据此行动的人读不懂它，它就毫无用处。
翻译的问题
这个数字其实是：模型对它的答案有多大可能正确的估计，基于答案与它所见过的东西吻合得有多好。这是个有用的信号。但它也是一个对负责回客户、搬订单、或批准付款的人来说毫无意义的数字。
问题不在分数。在于缺少一层翻译。工程师看到 0.87，知道它意味着什么。操作员看到 0.87，只看到一个谜。于是操作员退回直觉——而对一个他们不懂的数字的直觉，比没有数字更糟。
一个没被翻译成行动的置信度分数就是噪音。工作不是显示数字。而是告诉人们拿它怎么办。
翻译成行动，而不是数字
修复办法是：停止把置信度呈现为一个数字，开始把它呈现为一个决策。三个桶。这就是一个实时行动的人所需要的全部粒度。
高置信度意味着：照此行动。它是对一个常规问题的回答，它符合模式，出错成本很低。不要反复检查。高置信度的全部意义，就是检查它会浪费 AI 本该省下的时间。
中置信度意味着：用它，但要核实关键部分。答案大概率是对的，但确实有可能某个具体地方出错。指令不是“全都检查”——那太费劲，没人会做。而是“检查数字、日期、名字”——那些一旦出错会造成实际损害的部分。
低置信度意味着：别行动。升级或重做。这是保护你的那个桶。当 AI 不确定时，照它的答案行动就是赌博，而拿客户的钱、客户的数据、或合规去赌，就是小错误变成大错误的方式。
三个桶，三个动词：行动、核实、升级。没有小数点。
让它变具体的那一个问题
构建翻译层最干净的办法，就是为每个任务回答一个问题：出错要花什么代价？
这就是把数字变成决策的那个问题。对一个常规状态回答，出错不花什么，所以哪怕中置信度的答案也可以直接行动。对一个报价单，出错丢一个客户，所以只有高置信度的答案才被直接行动，其余都去检查。对一个合规回答，出错招来监管，所以没有人在人工核实来源之前，什么都不能直接行动。
同一个模型。同一个置信度分数。三个不同的阈值，因为出错成本不同。置信度分数不变。变的是你拿它怎么办。
这也是操作员会问的那个问题的答案：“为什么 AI 有时对 0.7 直接行动，有时不？”因为风险不同。这就是全部解释，而且是一个六岁小孩——和一个 CFO——都能懂的解释。
翻译住在哪里
翻译必须住在决策发生的地方，而不是在一份培训讲义里。
对回路里的人，它住在界面里。AI 答案带一个颜色，而不是数字——绿、黄、红——颜色映射到一个动词。行动。核实。升级。操作员不读分数。他们读红绿灯。
对自动化流水线，它住在阈值里。系统对绿色行动，把黄色标出来供复核，把红色路由给人工。阈值按任务设置，用出错成本的答案。而阈值要复核，因为随着模型改进，校准也在变。
分数留在后台，工程师用它来调系统。操作员拿到的是翻译。
为什么这比模型本身更重要
让人不舒服的部分在这里。一家从 AI 获益的公司和一家被 AI 烧伤的公司之间的区别，很少是模型。而是模型周围的决策层。两家公司可以跑同一个模型、同样的准确率。一家用置信度信号把工作正确路由，另一家忽略它或误读它。一家赢，一家被烧。
置信度分数是方向盘。你可以造出世界上最好的引擎，但如果没人知道该往哪边打方向盘，它就毫无用处。
三个桶。行动、核实、升级。还有一个问题——出错花什么代价——它为每个任务设定阈值。这就是全部翻译。你的操作员不需要懂模型。他们需要知道拿答案怎么办，而置信度分数，翻译得当，正是告诉他们的东西。
数字是给工程师的。动词是给人的。把动词交付出去。