像分层对待客户那样分层对待你的模型
你不会把每个客户都放在同一个服务层级上。你也不该把每个模型都放在同一个层级上，而一视同仁地对待它们，正是 AI 预算失控的原因。
默认的设置是一个模型打天下。团队挑一个他们买得起的最聪明的模型——或者演示效果最好的那个——然后把每一个请求都路由给它。琐碎的请求、重要的请求、需要深度推理的请求、需要快速回答的请求，全部交给同一个模型，全部按同一个价格。
这就像因为头等舱存在，就让每个客户都坐头等舱。它行得通，但成本高得离谱，而且这是在不牺牲质量的前提下最容易削减的一项 AI 成本。
分层框架
每一个 AI 请求在路由之前，都有两个你应该了解的性质：它有多难，以及它有多重要。
它有多难，决定了哪个模型能处理它。大量 AI 工作是容易的：分类、抽取、摘要、填表、常规起草。前沿模型处理得很好，但一个又小又快又便宜的模型同样能处理。而困难的工作——复杂的推理、多步骤分析、微妙的判断——才需要前沿模型。
它有多重要，决定了你愿意为它花多少钱。内部草稿上答错一次，代价是一小时；客户报价上答错一次，代价是一个客户；合规决策上答错一次，代价是一个监管者。错误的代价，就是设定你容忍度的那个数字。
把这两者放在一起，你就得到了一张路由矩阵。容易且低风险：最便宜的模型，无需审核。容易且高风险：便宜模型，人工审核。困难且低风险：中档模型，抽查。困难且高风险：前沿模型，人工审核，完整的升级路径。
你选用哪个模型，是一个关于成本与风险的商业决策，而不是关于能力的技术决策。那个足够好且最便宜的模型，按照风险所要求的级别进行审核，就是正确的模型。
为什么一开始会感觉不对劲
对分层的抵触通常都源于同一个论点：前沿模型更好，那我为什么要用一个更差的？
因为「更好」不是目标。目标是在正确的价格上足够好。前沿模型更好，就像头等舱更好一样——它更舒适，但并不是大多数行程所需要的。一个分类任务，小模型有 99.2% 的正确率，前沿模型有 99.4% 的正确率，这个任务并不需要前沿模型。那 0.2% 很昂贵，而你正在每一个请求上为它买单。
另一种抵触来自工程上的舒适区。一个模型很简单——一次集成、一个供应商、一套提示词规范、一张账单。分层则意味着多次集成、路由逻辑，以及每个层级的评估。这是实实在在的工作。但路由层与你已经在流量、队列、服务水平上所做的路由是同一类东西。而节省下来的成本，会以数倍的方式回报那份复杂性。
如何构建矩阵
你不需要一个平台就能开始。你需要一张表格，和几周的日志。
第一步：列出你的 AI 任务。系统每一次调用模型的地方，都把任务写下来。第二步：为每个任务估算一次错误答案的代价——高、中、低。第三步：用便宜模型把这个任务跑上一周，让审核输出结果的人来打分：便宜模型的输出有多频繁需要修正？
结果通常是可以预见的。容易的任务——抽取、格式化、路由、常规分类——在便宜模型上通过，修正率低到没人察觉出差别。困难的任务则会失败。现在你有了自己的矩阵，它是建立在证据而非观点之上的。
然后设定路由规则：这个任务永远走小模型，这个走中档，这个走前沿，并为每个任务标注审核级别。从 80/20 原则开始——把少数几个高流量、低风险的任务路由到便宜模型，就能拿到大部分的节省。
会复利的分层
一旦矩阵建立起来，它会随着时间越来越精准，而不是变得过时。便宜模型每几个月就会改进，这意味着任务会向下迁移一个层级。你为了构建矩阵而建立的评估层，也正是那个能在便宜模型发生性能回退时抓住它的评估层。路由规则会变成一份活的文档，而不是一个你做过一次就忘掉的决策。
而节省还以第二种方式复利。你不再花在前沿模型请求上的钱，正是那些真正需要它的请求的预算——也是让高风险输出变得安全的人工审核层的预算。分层不只是削减成本，它还把成本重新导向真正重要的地方。
开启对话的那个问题
问你的团队一个问题：我们的模型调用中，真正需要当前所用模型的比例是多少？
诚实的答案通常低于百分之三十。前沿模型正在做分类、抽取和起草，而这些工作一个价格只有其十分之一的模型就能处理得很好。没有人刻意这么设置。这只是默认值，而默认值是昂贵的。
像分层对待客户那样分层对待你的模型：常规的用便宜的，重要的用高端的，再加一条知道谁该去哪里的路由规则。质量不会下降——下降的是预算，而钱会流向风险所在之处。这不是优化，这不过是不为经济舱的行程支付头等舱的票价罢了。