生产级长任务工作流的架构保障(GLM-5.3 A/B 版)
面对链条长(几十个步骤)、确定性要求高、过程低人工干预的”生产级长任务”(如招标文件解析),Agent 自主规划存在查错成本高、质量漂移、token 浪费三大问题;作者主张以自建 LLM 底座(模型适配、错误分类、格式验证、资源平衡)+ 状态机主干 + DAG(节点内部)+ 调用级断点续传的工程体系来保障,并以一份 60 页招标文件 532 次 LLM 调用、9 次格式异常全部自愈的实际效果验证。
基本信息
- 来源类型:网页文章(掘金)
- 原文位置:
raw/articles/2026-10-27-150000-ab-glm53.md - 原文 URL:https://juejin.cn/post/7699303337993535539
- 消化日期:2026-10-27
- A/B 测试:本文为 GLM-5.3 消化版本,同一素材的 GPT-6 Luna 消化版本见 2026-10-27-生产级长任务工作流架构-gpt-6-luna
- 文章主题:生产级长任务(数十分钟、上百次 LLM 调用)工作流的架构保障
核心观点
- Agent 已经能稳健完成 3~5 步的中短任务,人需要干预的颗粒度正在变粗。今天的 Agent 产品已超出纯 chat 范式(写代码、搭组件、做 demo、生成 PPT、数据整理、订机票等),个人助手类事务已解决得很好。但”生产级长任务”——链条细拆有几十个步骤、要求高准确率/可追溯/可审计、过程低人为甚至无人为干预——超出了 Agent 自主规划的能力边界。
- 招标文件解析是典型的生产级长任务:文档提取、格式转化与清洗、内容分块,到义务要求的提取、归类、归并、关联、风险排查,每个环节下有多个细分步骤和并发分支,一份文件解析可能涉及上百次甚至大几百次 LLM 并发调用。作者实测一份 60 页、8 万多字的招标文件跑下来共 532 次大模型调用,过程中出现 9 次格式异常,全部完成自我修复。
- 生产级长任务不能交给 Agent 自主规划的四个理由:① Claude 这类 Agent 对招标文件的粗放解读做得可以,但哪里出现幻觉、哪里漏了条款不可知,查错成本高;② 长任务每次自主规划都有差异,产出质量是”漂的”;③ 自主规划、纠错的循环处理非常耗费 token,等于让它重复干本来很确定的事;④ 生产级流程在市面上没有通用的对错标准(不像编程有测试判定),业务判定规则来自企业自身,临时生成的提示词方案未经 harness 和 evals 测试,很可能漏洞百出。
- 技术栈选择与 LangChain 的弃用:作者推荐 React 前端 + Python FastAPI 后端 + Redis/PostgreSQL 存储 + arq 后台任务 + 状态机主干 + DAG(节点内部)+ 自建 LLM 底座(模型切换、熔断、格式验证、全局 QPM 限流和并发控制、任务追踪)。两年前被 LangChain 优雅的 chain 写法吸引,后来痛恨其黑匣子封装,改为从 base_layer 开始一层层自建封装——在 AI coding 成熟的今天,抛弃被别人固化的框架自己造轮子成本并不高,掌控性更好。
- 自建 LLM 底座的分层设计(从底往上):① 模型选型——一款模型(DeepSeek 主走官方、备用走其他云厂商),几个备用云服务商而非几个备用模型,因为不同模型训练数据/过程/架构差异会在 evals 中暴露无遗,同一提示词跑 20 遍调稳后换模型结果差异很大;② 错误分类——429 过载要杜绝(上层队列保障),“API 已连接但迟迟不返回”的悬挂错误要通过一律走流式连接来及早发现(监控连接建立、首个 chunk、chunk 间隔,设更短超时);③ 格式验证——开 JSON Object 模式再加 schema validation,只管格式(字段缺不缺、类型对不对),不对就立即在本层重跑,多次未解决再软处理或报错,顺手清掉 ```json 这类 Markdown 标识;④ 资源平衡——全局共用模型实例,项目级/用户级/全局级多层 semaphore,处理全局容量保护、业务公平性、供应商 API 保护三件事,用锁避免竞态,QPM 检查前置快速失败;⑤ 任务管理——每个 LLM 调用作为 task 记录用于全局监控;⑥ 多任务并发与缓存命中——实测 DeepSeek 需要先跑完两个任务缓存命中才体现,所以先串行跑两个任务再并发剩余任务,且提示词输入占位放到最后让前文成为可复用前缀。
- 状态机工作流 + DAG 的关键设计:① 断点续传——context/日志存储与断点续传存储必须分开(写入频率不同且走 arq,放一起无法避免竞态覆盖),且续传颗粒度要细到单次 LLM 调用(状态机层续传会导致 Step 内部大几十的并发 LLM 子任务整体重跑,浪费严重);② 业务代码与状态机解耦——状态机做成配置模式,增删环节通过配置实现,业务节点通过 task 接入,evals 无法收敛时可拆分步骤而不牵一发动全身;③ 数据分层——工作流数据(context、日志、子任务完成情况)与结果数据分开,context 与阶段结果也分开;④ 前后端通信——SSE 只发通知不带 context,前端按通知类型触发 HTTP 拉取数据,渲染走后端生产的 snapshot(前端渲染由后端数据驱动);工作日志类消息走 SSE 在前端与 context 拼接,到阶段节点再对账;阶段结果和 snapshot 都可走增量更新;⑤ 前端两种通用范式——stepper 模式和 chat 模式,数据本质相同,只是 adapter 处理不同;⑥ DAG——状态机受状态推动,DAG 关注数据依赖(某份数据 ready 就启动依赖它的步骤),分析环节多一个维度只需在 DAG 里多一条边,不需要多一个状态步骤,DAG 有自己完整的存储体系,与状态机通过接口对接。
- 从 0 到 1 构建这套体系的成本与收益:即便有 AI coding 辅助,边学边搭边测试到竞态坑 debug 干净,实战也要几个月;但一旦形成自建体系,就是一套通用的工程配套,可用于大部分生产级长任务工作流。对无人为过程干预的产品,任务能跑完比中途中断垮掉对用户更好——超出重试次数的格式异常走软修复,部分写进 check flag 作为用户重点核查点。
实操内容保留
代码/配置
(本文无实操代码/配置文件;原文给出的是技术栈清单与分层架构设计。推荐技术栈:前端 React、后端 Python FastAPI、存储 Redis + PostgreSQL、后台任务 arq、工作流 = 状态机主干 + DAG(节点内部)、自建 LLM 底座(模型切换、熔断、格式验证、全局 QPM 限流和并发控制、任务追踪)。)
Prompt 模板
(本文无可直接复用的 Prompt 模板。与提示词相关的实操要点:提示词里的输入占位要放到最后,让前面的部分成为可复用的前缀,以配合 DeepSeek 的缓存命中机制。)
操作步骤
原文的状态机实例时序(原文以 Mermaid sequenceDiagram 描述,此处原样保留事件顺序):
- 前端(UI)→ FastAPI:启动 / 审核确认 / 重试
- FastAPI → 状态机实例(SM):调用对应动作
- SM → arq Worker(Q):入队任务(目标状态)
- Q → SM:新建实例,从存储加载状态
- Q → Q:校验 expected_state,不一致则丢弃
- Q → 业务节点(Step):执行业务节点
- Step → SM:回调结果
- SM → SM:分布式锁内重新加载状态;写入阶段结果,执行状态转移
- 分支:需人工审核 → SSE 通知 review_required,前端拉取 context 确认或重新上传;下一步仍是后台任务 → 入队下一状态;下一步是完成 → 触发结果汇总
- SM → UI:SSE 通知(state_changed / appended / data_updated);UI → API GET context,刷新阶段快照
自建 LLM 底座的构建顺序(原文第 1-6 小节):模型选型与接入 → 错误分类与切换时机 → 格式验证 → 资源平衡 → 任务管理 → 多任务并发与缓存命中 → 断点续传。
关键概念
- 生产级长任务:链条很长(几十个步骤)、确定性要求很高(高准确率、可追溯、可审计)、过程低人为干预甚至无人为干预(只审结果)的任务
- 自建 LLM 底座:模型切换、熔断、格式验证(JSON Object + schema validation)、全局 QPM 限流与并发控制、任务追踪的分层封装
- 状态机工作流:状态与全局 context 设计 + Redis/PostgreSQL 两级存储 + 写入竞态保护 + arq task 衔接 + 断点续传 + 工作日志 + 人工干预 + snapshot
- DAG(数据依赖调度):节点内部按”数据 ready”推进分析步骤,与状态机解耦、独立存储
- 调用级断点续传:续传颗粒度细到单次 LLM 调用,独立于 context/日志存储
- SSE 驱动 HTTP 更新:SSE 只发通知,HTTP 拉数据,后端 snapshot 驱动前端渲染
- DeepSeek 缓存命中策略:先串行跑两个任务再并发剩余任务,输入占位放提示词末尾
(以上概念在当前知识库中尚无对应实体页,按 skill 规范以纯文本标注,待积累更多素材后再创建。)
与其他素材的关联
- 同一素材的另一个 A/B 消化版本:2026-10-27-生产级长任务工作流架构-gpt-6-luna(GPT-6 Luna 生成,可与本文对比消化质量)
- 本文与 Agent Harness、Agentic Workflow、LangChain 所代表的”框架/自主规划”路线形成对照:作者明确主张生产级场景下弃用通用框架(LangChain 黑匣子封装)与 Agent 自主规划,改为手工编排 + 工程体系保障。
原文精彩摘录
还有一点,很多生产级的流程,在市面上是没有通用的对错标准的。它不像编程,代码能不能跑、测试过不过,有明确的判定;业务上的判定规则来自企业自身。每次让 Agent 临时生成一套提示词方案,没有经过 harness 和 evals 的测试,这套提示很可能漏洞百出。
工作流里每一个环节任务拆解的颗粒度、数据输出的结构,都特别影响大模型单点的生产质量。总的来说,生产级的长任务工作流,需要手工编排,需要工程体系的保障,涉及每一个节点精细化的设计和测试。
我曾经搞了五六个不同厂商的备用模型,觉得很酷,后来发现都用不上。而且到了提示词 harness 的环节,模型往往要固化下来。比如用了 DeepSeek 的模型,就一直用它,不要再切其他模型。因为不同模型的训练数据、训练过程、架构都有差异,这在 evals 的测试过程中暴露无遗:相同的提示词跑 20 遍,好不容易在一个模型上调稳了,换一个模型,结果差异就很大。
拿并发来说,实测 DeepSeek 需要先跑完两个任务,缓存命中才会体现出来。所以设计的时候,是先串行跑两个任务,再并发剩余任务。与之配套,提示词里的输入占位要放到最后,让前面的部分成为可复用的前缀。
一份 60 页、8 万多字的招标文件,跑下来共 532 次大模型调用。过程中出现了 9 次格式异常,全部完成了自我修复。
对于我做的这款无需人为过程干预的产品来说,任务能跑完,比中途中断垮掉,对用户更好。过程中做了软修复的地方,根据不同情况,有的会写进 check flag,作为用户重点核查的点。
相关页面
- 2026-10-27-生产级长任务工作流架构-gpt-6-luna(同一素材的 A/B 对照版本)
- Agent Harness、Agentic Workflow、LangChain(相关既有实体页)