引子

客户问浩途："你们都用 Claude Opus / GPT-4 吗？"——并不是。生产环境里我们大概 60% 的请求路由到中小模型（Haiku、Sonnet 或开源 7B/14B），关键决策才上 Opus。 这套模型路由逻辑省下大量成本。

路由的三个维度

  1. 任务类型：分类、抽取、改写 → 小模型；推理、规划、生成 → 大模型
  2. 后果严重性：可被人工审核 → 容忍小模型偶尔错；不可挽回 → 必须大模型
  3. 延迟约束：用户在线等待 → 小模型 + 缓存；后台批处理 → 大模型可接受

路由实现的两个层面

  • 静态路由：按业务类型固定路由
  • 动态路由：用一个小模型 / 规则先做"难度评估"，难任务升级到大模型

（路由架构图与开源实现示例后续补）

写在最后

LLM 成本治理不是"选最便宜"，而是"在每个场景选最合适"。这套思路与传统 BI 系统的 "冷数据放对象存储、热数据放 Redis"是同一个底层思想。