自建 LLM 底座

在业务工作流与模型 API 之间自建的一层调用基础设施——统一模型接入、错误分类、格式验证、全局资源平衡、任务追踪与并发缓存,使上百次 LLM 调用在厂商 API 抖动时仍能稳定跑完

简介

自建 LLM 底座(self-built LLM base layer)指的是不依赖 LangChain 这类通用框架,而从 base_layer 起逐层封装的一套 LLM 调用层。它不负责”业务要做什么”,只负责”每一次模型调用怎么被可靠地发出、校验、限流、记录和恢复”。在 LLM 底座之上才是业务并发、断点续传,再往上才是状态机工作流。

它与”直接调 SDK + 重试”的区别在于关注点分层:重试是单点行为,底座把错误分类、格式校验、资源平衡、调用追踪分别放在不同层,让每一类问题在它最低的层级被消化掉(例如格式不对就在本层重跑,不要上升到状态机)。它与 LangChain 这类框架的区别在于可控性:作者弃用 LangChain 的理由不是能力不足,而是黑匣子封装让”给 LLM 添加工程保障”时处处绕不开框架自身的底层架构;自建之后”一切尽在掌控中”。

关键信息

  • 类型:概念 / 架构层(工程基础设施)
  • 领域:LLM 应用工程、AI 工作流架构
  • 技术栈参考:Python FastAPI + Redis/PostgreSQL + arq;模型主走 DeepSeek 官方、备用走其他云厂商部署的 DeepSeek
  • 构建成本:从 0 到 1 边学边搭边测试,把竞态坑 debug 干净,实战需要几个月
  • 相关概念:生产级长任务(底座服务的任务类型)、状态机工作流、调用级断点续传、schema validation、QPM 限流

核心特性

定义与核心组成:六层自底向上

  1. 模型选型与接入:一个主模型 + 一到两个备用。实际最佳实践是”一款模型、几个备用云服务商”——不同模型训练数据、过程、架构差异在 evals 中暴露无遗(同一提示词跑 20 遍调稳后换模型差异很大),所以备用不换模型只换部署方;不同云厂商的接口、usage 参数、缓存命中方式有差异,需要做适配层。
  2. 错误分类与切换时机:429 过载要在更上层队列里杜绝,不让它出现;最恶心的错误是”API 已连接但迟迟不返回”——错误不触发、只能等任务超时(往往几分钟)。解法是不管是否需要流式展示都走流式连接并自加封装,监控连接建立、首个 chunk 返回、chunk 间隔,设置更短超时,从而比”等超时”更早发现厂商异常。
  3. 格式验证:开启 JSON Object 模式(接口自带的 JSON 强制输出)只是第一层;再加 schema validation 只管格式——字段缺不缺、类型对不对。不对就立即在本层重跑,不必升到上层;多次未解决再软处理或报错。顺手清掉 ```json 这类 Markdown 标识,不要留到上层。
  4. 资源平衡:模型实例全局共用一个(因为需要全局资源平衡),设计项目级/用户级/全局级多层 semaphore,处理三件事:全局容量保护、业务公平性、供应商 API 保护。全局保护需要锁避免竞态;各瓶颈的触发次序有讲究,QPM 检查应前置以快速失败。
  5. 任务管理:每次 LLM 调用作为一个 task 记录,用于全局监控。
  6. 多任务并发与缓存命中:完成以上五层,单个调用的底座就齐了;再往上做多任务并发与断点续传。实测 DeepSeek 需要先跑完两个任务,缓存命中才会体现,所以设计成先串行跑两个任务、再并发剩余任务;配套做法是把提示词里的输入占位放到最后,让前面的部分成为可复用前缀。

常见误区

  • 换模型当容灾:备用模型换了架构就等于换了一套 harness/evals 基线,“提示词跑 20 遍调稳”的成果会作废。
  • 只在超时上做文章:非流式连接下,卡死与慢请求无法区分,只能一起等超时;流式信号才能区分”连接建立失败""首 chunk 迟到""chunk 间隔异常”。
  • 格式错误上抛到状态机重跑:一个字段类型错误让整个 Step 重跑,等于把成本和不确定性都放大了一个数量级。
  • 并发开满再说:不先串行跑两个任务建立缓存前缀就直接并发,命中率上不去。

不同素材中的观点

  • 2026-10-27-生产级长任务工作流架构-deepseek-v4.1-flash:给出六层构建顺序与每层要解决的问题,并强调”一层层搭上去以后代码量不少,要测试的细节也多,但其实逻辑并不复杂”。同时记录了一个反框架判断:两年前被 LangChain 的 chain 写法吸引,后来越来越痛恨其黑匣子封装,于是改为从 base_layer 开始一层层自建;在 AI coding 成熟的今天,自己造轮子的成本并不高,掌控性和可控性更好。

本文目前是单一素材来源;后续若出现其他底座实现(如基于 LangGraph 的封装、云厂商托管方案)应在此追加对比。

实用信息

快速上手步骤

  1. 先接一个模型,把格式验证做出来:开 JSON Object 模式 + 自写 schema 校验,格式错误在本层重跑,清 Markdown 包裹。
  2. 再加流式连接与短超时:用连接建立 / 首 chunk / chunk 间隔三类信号判定异常,不要等整体超时。
  3. 然后做全局资源平衡:全局单实例 + 多层 semaphore(项目/用户/全局)+ 锁;QPM 检查放在最前面快速失败。
  4. 最后补追踪与并发:每次调用记 task;先串行两个任务建立缓存前缀,再并发剩余。

注意事项 / 避坑指南

  • 429 不应该靠重试解决,应该在上层队列里被”不产生”。
  • 模型切换要连带重做 evals,不要把”换云厂商”和”换模型”混为一谈。
  • 提示词结构要为缓存服务:稳定前缀在前,可变输入占位在后。
  • 底座是通用工程配套,一旦成型可搬运到大部分生产级长任务工作流,不要在项目里重复造。

相关页面