当整个AI行业都在押注“LLM路由器”时，一家技术团队却公开宣布：“我们把它下线了。”这则题为 Everyone is building LLM routers, we deprecated ours 的技术博客近日在圈内引发热议。在“先用路由器省成本、再谈模型效果”几乎成为共识的当下，这种主动“退场”显然不合时宜，却也未必没有道理。
所谓LLM路由器，是指在请求到达大模型之前，通过规则、分类模型或向量索引，自动选择最合适的模型或提示词策略。不同模型的价格相差数十倍，能力也参差不齐，一个聪明的路由层往往能节省30%甚至50%的调用成本。过去一年，开源路由项目、商业化网关、智能编排平台层出不穷，“不做一个路由器，你都不好意思说自己在做AI基础设施”。
然而，这家团队在运行自研路由系统一年多后，选择了“deprecated”。他们在博客中给出的理由，不是“路由做错了”，而是“路由的黄金时代已经过去了”。
首先，模型能力差距正在快速收窄。路由器最初的逻辑很简单：简单问答走便宜的小模型，复杂推理交给顶级大模型。但随着新一代模型在通用理解、长文本、代码生成等任务上表现普遍提升，路由带来的质量增益越来越小。许多请求无论发给谁，都能得到合格答案。而为了完成路由判断，系统需要额外调用一次分类模型或更新规则，这让每次请求增加了几十到几百毫秒的延迟。用户对延迟的敏感，往往远高于模型之间的“微小差距”。
其次，路由的维护成本被严重低估。一个路由器并不是上线就能高枕无忧的：模型价格会变、能力会变、上下文窗口会变，路由策略必须持续调整。你需要搭建评估集，追踪不同模型在真实业务上的表现，还要处理误判——当一个本该走大模型的复杂任务被分给了小模型，生成的垃圾回复可能直接毁掉一次用户对话。该团队甚至自嘲：到了后期，路由团队变成了“模型观察员”，每天都在对比榜单和价格表，却很少真正优化业务价值。
更关键的是，模型厂商正在“截胡”。OpenAI、Anthropic、谷歌等正在把自动选择、模型降级、提示词缓存等能力内置到API层。厂商掌握底层调度信息和真实算力成本，天然比第三方路由更能做出精准决策。第三方路由器只能基于公开的API做黑盒判断，信息滞后，优化空间越来越窄。当“官方路由”成为默认功能，独立路由器就失去了存在的必要。
从更深层次看，LLM路由器是“模型混乱期”的临时产物。当模型数量多、能力差异大、价格体系不稳定时，路由是一种合理优化。但行业正在走向集中和标准化：少数几个顶尖模型已经覆盖绝大多数场景，用户并不需要在一百个模型之间做复杂抉择。该团队在博客中直言：“我们不是否定路由的价值，而是认为它不该成为一个独立的产品层。”与其维护一套复杂的外部路由系统，不如把简单逻辑写入应用，或者直接交给模型厂商做。
这个案例给创业者和架构师提了一个醒：不要为了追逐热点而建设基础设施。在快速变化的技术周期里，“所有人都在做”往往不是入场信号，而是过度建设的警报。LLM路由器或许不会彻底消失，但它的角色会越来越轻。正如该团队最后写道：“我们放弃了路由器，却更清楚什么时候该用哪个模型。”这种清醒，可能比任何路由策略都更稀缺。