用数据而非感觉来设定置信阈值
你的 AI 系统里某处有一个置信阈值，我可以告诉你它是怎么被设定的：有人挑了一个"感觉对"的数字。
阈值是决定 AI 是独自行动还是把输出交给人类的那条线。它是整个系统中最重要的设置——它决定了错误率、审核负担、成本和信任。而它几乎总是靠猜测来设定的。有人说"0.8 感觉安全"或者"低于 0.7 就升级"，这个数字就成了政策，靠感觉来维护，而且从不重新审视。
阈值是一个关于风险和成本的决策，而关于风险和成本的决策本应基于数据来做。下面就是用三步流程来取代猜测。
第一步：建立错误率基线
在你搞清楚模型的置信度实际意味着什么之前，你是无法设定阈值的。先从测量开始。
让系统在不设阈值——或故意设一个很低阈值——的情况下运行，把所有输出都送去审核几周。对每个输出，记录下置信度和审核结论：对还是错。现在你就有了原始素材：每个置信水平上的实际错误率。
把它画出来。你会看到模型校准曲线的形状。也许模型校准得很好：错误聚集在低置信度区域，准确率随置信度攀升。也许它过度自信：错误出现在 0.9 处，模型的置信度是个骗子。也许它在局部区域校准失调：在某些任务类型上很出色，在相同置信度下的其他任务上却很糟糕。这张图就是那些"感觉"一直在掩盖的真相，也是后续一切工作的基础。
阈值不是你去挑选的数字，而是你推导出来的数字——从错误率、错误的代价以及任务的可容忍度推导出来。先挑一个数字，那就是在猜。
第二步：给错误定价
相同的置信水平，在不同任务上意味着不同的东西。阈值必须知道一个错误答案的代价是多少。
对每个任务层级，说清楚一个漏网错误输出的代价。内部摘要那种错误代价只是一个小时返工的层级，可以运行在低置信度下，因为升级的成本（让人审核一切）超过了偶尔出错的成本。而面向客户的答案那种错误代价是丢掉一个客户的层级，就需要很高的门槛，因为错误的代价远远超过审核的成本。
定价这一步，正是阈值从一个技术决策变成一个商业决策的地方。两个任务、同一个模型、同一条置信曲线，却有两个不同的阈值，因为出错的代价不同。阈值就是业务那个问题的数学表达：哪些错误是我们承受得起的，而防止这些错误要花多少成本？
第三步：按容忍度来调校
现在设定数字。对每个任务层级，找到那个置信度，使得"放错误漏过去"的成本等于"审核它之上所有内容"的成本。
数学很简单。阈值的成本就是漏过去的那些错误——阈值处的错误率，乘以其下的业务量，再乘以每个错误的成本。提高阈值的成本就是额外的审核——旧阈值和新阈值之间的那些输出，乘以每个输出的审核成本。正确的阈值就在这两条曲线相交的地方。把数字设在那里。
然后要持续观察它。阈值不是一座纪念碑。模型会变，数据会漂移，错误的代价会变，阈值也必须随之移动。季度重校准就是纪律：重新运行基线、重新给错误定价、重新推导数字。一个一月份还正确的阈值，如果没人去看，到六月份就变成猜的了。
常见的失败模式
这套流程有三种经典的失败模式，值得把它们点名出来，好让你能及时发现。
过度自信的模型：基线显示高置信度下仍有错误，任何阈值都救不了它。答案不是把门槛设得更高，而是校准——或者换一个模型，或者重新设计任务。阈值救不了一个置信度是谎言的模型。
全有或全无的陷阱：为整个系统设一个阈值，用来保护最高风险的任务，这意味着其他一切都永远要付出高昂的审核成本。解决办法是分层阈值，而层级就来自定价那一步。
冻结的阈值：设定一次，永远维护，从不重新推导。解决办法就是日历——季度重校准，要排进日程，而不是靠记性。
取代猜测的那个问题
下次有人提出一个置信阈值时，问一个问题：错误曲线长什么样，一个错误的代价是多少？
如果答案是一张图和一个价格，那你就有了一个真正的阈值。如果答案是"0.8 感觉对"，那你有的只是一个挂着数字的猜测，系统会以错误或审核成本的形式来为此买单——只是你暂时还不知道是哪种。
建立错误率基线。按层级给错误定价。把阈值调校到曲线交点。每季度重校准。这就是整套流程，也是"保护系统的阈值"与"某个星期二感觉安全的数字"之间的区别。模型的置信度是一个信号。那就把它当信号对待——测量它、给它定价，并把那条线设在数据所指的位置。