设计会随着时间推移不断改进的 AI 工作流
Richard Teachout
Ashley Furniture Industries 首席技术官 —— 高管级技术领导者、创业者、AI 领导者、架构师、问题解决者、前开发者。
May 19, 2026
设计会随着时间推移不断改进的 AI 工作流
大多数 AI 工作流都被设计得好像它们是静态的：定义用例，部署模型，集成到工作流中，测量初始结果，然后……就到此为止了。
但这个假设并不成立。
真正的优势：持续改进
真正的竞争优势，来自那些通过实际使用而不断改进的工作流。一旦 AI 进入真实工作流，边缘案例就会出现，使用模式会变化，操作者的行为会适应，数据也会随着时间推移而改变。如果没有反馈闭环，性能就会停滞甚至退化。
超越模型增强的改进
虽然更好的提示词、微调和准确率都很重要，但显著的改进来自工作流如何处理输出、如何管理人与结果的交互、如何处理异常，以及如何把决策反馈回系统。学习的不仅是底层模型，还有工作流本身。
捕获已有的信号
组织其实已经在产生有价值的信号：输出何时被接受或被拒绝、人类何时推翻建议、何时发生升级处理，以及诸如此类的交互。这些信号常常被忽视，却恰恰提供了系统改进所需的东西。
学习型系统的设计原则
有效的工作流会有意识地嵌入反馈机制，记录输出为何被修改、记下推翻的理由，并追踪升级处理的模式。这些输入会驱动提示词的改进、阈值的调整和训练的优化。
高性能系统会区分有意义的模式与噪音，优先处理高影响的错误，并避免过度拟合个别行为。
操作者的角色
操作者能够识别边缘案例、理解上下文并适应模糊性。当工作流能够有效地捕获操作者的决策时，它就能加速学习、提升一致性并减少未来的升级处理——但反馈必须轻松易做，而不是额外的负担。
落地实施
一个直接的起步方法是：选定一个工作流，找出一个关键信号（比如"推翻"），持续地捕获它，并定期回顾其中的模式。这就形成了一个可重复的改进循环。
前行的路径
机会在于把部署当作起点而不是终点。大多数组织都已经部署了 AI，却很少有组织构建出能随着运营而不断改进的系统。长期优势，在于构建那些每使用一周就变得更好的系统。