引子

2024-2025 我们看了几十家企业的"AI 探索"项目——大约 80% 停留在 PoC 阶段，没有真正 进入生产。原因往往不是模型不行，而是工程化跟不上：监控、灰度、可回滚、成本管控 四件事缺一不可。

缺失 1：可观测性

LLM 系统的"日志"远比传统系统复杂——除了 request/response，还需要追踪 prompt 版本、 模型版本、tool 调用、token 消耗、延迟分布。没有这些数据，就无法识别"昨天没事 今天为什么变差"。

缺失 2、3、4（占位）

  • 灰度发布：新 Prompt / 新模型如何小流量上线
  • 可回滚：发现问题后如何快速回到上一个稳定版本
  • 成本管控：实时配额、用量告警、按部门核算

（每项的具体落地方案与开源工具选择后续展开）

写在最后

把 LLM 当成新一代"业务系统"对待——它需要传统软件工程的所有最佳实践，外加 LLM 特有 的几条。先把工程化补齐，再谈应用创新。