自建 LLM 底座
在业务工作流与模型 API 之间自建的一层调用基础设施——统一模型接入、错误分类、格式验证、全局资源平衡、任务追踪与并发缓存,使上百次 LLM 调用在厂商 API 抖动时仍能稳定跑完
简介
自建 LLM 底座(self-built LLM base layer)指的是不依赖 LangChain 这类通用框架,而从 base_layer 起逐层封装的一套 LLM 调用层。它不负责”业务要做什么”,只负责”每一次模型调用怎么被可靠地发出、校验、限流、记录和恢复”。在 LLM 底座之上才是业务并发、断点续传,再往上才是状态机工作流。
它与”直接调 SDK + 重试”的区别在于关注点分层:重试是单点行为,底座把错误分类、格式校验、资源平衡、调用追踪分别放在不同层,让每一类问题在它最低的层级被消化掉(例如格式不对就在本层重跑,不要上升到状态机)。它与 LangChain 这类框架的区别在于可控性:作者弃用 LangChain 的理由不是能力不足,而是黑匣子封装让”给 LLM 添加工程保障”时处处绕不开框架自身的底层架构;自建之后”一切尽在掌控中”。
关键信息
- 类型:概念 / 架构层(工程基础设施)
- 领域:LLM 应用工程、AI 工作流架构
- 技术栈参考:Python FastAPI + Redis/PostgreSQL + arq;模型主走 DeepSeek 官方、备用走其他云厂商部署的 DeepSeek
- 构建成本:从 0 到 1 边学边搭边测试,把竞态坑 debug 干净,实战需要几个月
- 相关概念:生产级长任务(底座服务的任务类型)、状态机工作流、调用级断点续传、schema validation、QPM 限流
核心特性
定义与核心组成:六层自底向上
- 模型选型与接入:一个主模型 + 一到两个备用。实际最佳实践是”一款模型、几个备用云服务商”——不同模型训练数据、过程、架构差异在 evals 中暴露无遗(同一提示词跑 20 遍调稳后换模型差异很大),所以备用不换模型只换部署方;不同云厂商的接口、usage 参数、缓存命中方式有差异,需要做适配层。
- 错误分类与切换时机:429 过载要在更上层队列里杜绝,不让它出现;最恶心的错误是”API 已连接但迟迟不返回”——错误不触发、只能等任务超时(往往几分钟)。解法是不管是否需要流式展示都走流式连接并自加封装,监控连接建立、首个 chunk 返回、chunk 间隔,设置更短超时,从而比”等超时”更早发现厂商异常。
- 格式验证:开启 JSON Object 模式(接口自带的 JSON 强制输出)只是第一层;再加 schema validation 只管格式——字段缺不缺、类型对不对。不对就立即在本层重跑,不必升到上层;多次未解决再软处理或报错。顺手清掉
```json这类 Markdown 标识,不要留到上层。 - 资源平衡:模型实例全局共用一个(因为需要全局资源平衡),设计项目级/用户级/全局级多层 semaphore,处理三件事:全局容量保护、业务公平性、供应商 API 保护。全局保护需要锁避免竞态;各瓶颈的触发次序有讲究,QPM 检查应前置以快速失败。
- 任务管理:每次 LLM 调用作为一个 task 记录,用于全局监控。
- 多任务并发与缓存命中:完成以上五层,单个调用的底座就齐了;再往上做多任务并发与断点续传。实测 DeepSeek 需要先跑完两个任务,缓存命中才会体现,所以设计成先串行跑两个任务、再并发剩余任务;配套做法是把提示词里的输入占位放到最后,让前面的部分成为可复用前缀。
常见误区
- 换模型当容灾:备用模型换了架构就等于换了一套 harness/evals 基线,“提示词跑 20 遍调稳”的成果会作废。
- 只在超时上做文章:非流式连接下,卡死与慢请求无法区分,只能一起等超时;流式信号才能区分”连接建立失败""首 chunk 迟到""chunk 间隔异常”。
- 格式错误上抛到状态机重跑:一个字段类型错误让整个 Step 重跑,等于把成本和不确定性都放大了一个数量级。
- 并发开满再说:不先串行跑两个任务建立缓存前缀就直接并发,命中率上不去。
不同素材中的观点
- 2026-10-27-生产级长任务工作流架构-deepseek-v4.1-flash:给出六层构建顺序与每层要解决的问题,并强调”一层层搭上去以后代码量不少,要测试的细节也多,但其实逻辑并不复杂”。同时记录了一个反框架判断:两年前被 LangChain 的 chain 写法吸引,后来越来越痛恨其黑匣子封装,于是改为从 base_layer 开始一层层自建;在 AI coding 成熟的今天,自己造轮子的成本并不高,掌控性和可控性更好。
本文目前是单一素材来源;后续若出现其他底座实现(如基于 LangGraph 的封装、云厂商托管方案)应在此追加对比。
实用信息
快速上手步骤
- 先接一个模型,把格式验证做出来:开 JSON Object 模式 + 自写 schema 校验,格式错误在本层重跑,清 Markdown 包裹。
- 再加流式连接与短超时:用连接建立 / 首 chunk / chunk 间隔三类信号判定异常,不要等整体超时。
- 然后做全局资源平衡:全局单实例 + 多层 semaphore(项目/用户/全局)+ 锁;QPM 检查放在最前面快速失败。
- 最后补追踪与并发:每次调用记 task;先串行两个任务建立缓存前缀,再并发剩余。
注意事项 / 避坑指南
- 429 不应该靠重试解决,应该在上层队列里被”不产生”。
- 模型切换要连带重做 evals,不要把”换云厂商”和”换模型”混为一谈。
- 提示词结构要为缓存服务:稳定前缀在前,可变输入占位在后。
- 底座是通用工程配套,一旦成型可搬运到大部分生产级长任务工作流,不要在项目里重复造。
相关页面
- 生产级长任务 — 底座服务的任务类型与边界
- LangChain — 被本文作者主动弃用的通用框架,用作对照
- Agent Harness — 上层编排;底座是它能力层之下的调用基础设施
- Agentic Workflow — “确定性管道 + 模糊推理节点”的上层形态
- DeepSeek — 本文主模型与缓存命中策略的来源
- 2026-10-27-生产级长任务工作流架构-deepseek-v4.1-flash
- AI 工作流方法论