生产级长任务工作流的架构保障(DeepSeek V4.1 Flash A/B 版)
面向”几十个步骤、上百次 LLM 调用、要求高准确率与可审计”的生产级长任务(如招标文件解析),作者认为 Agent 自主规划在查错成本、质量稳定性、token 消耗和业务标准四个方面都不可行,主张把确定性流程沉淀为手工编排的工程体系:自建 LLM 底座(模型适配 → 错误分类 → 格式验证 → 资源平衡 → 任务管理 → 并发与缓存)+ 状态机主干 + 节点内 DAG + 调用级断点续传;实测一份 60 页 8 万字招标文件 532 次调用、9 次格式异常全部自愈。
基本信息
- 来源类型:网页文章(掘金)
- 原文位置:
raw/articles/2026-10-27-160000-ab-deepseek.md - 原文 URL:https://juejin.cn/post/7699303337993535539
- 消化日期:2026-10-28
- A/B 测试:本文为 DeepSeek V4.1 Flash 消化版本;同一素材另有 2026-10-27-生产级长任务工作流架构-glm-5.3(GLM-5.3)与 2026-10-27-生产级长任务工作流架构-gpt-6-luna(GPT-6 Luna)两个版本
- 文章主题:长时运行、高确定性的 AI 工作流需要哪些架构保障(不涉及任务拆解、上下文管理、提示词工程与 token 优化)
核心观点
- Agent 的能力边界在”生产级长任务”上:今天 Agent 已完成从纯 chat 到”顺手把活干了”的转变(写代码、搭组件、做 demo、生成 PPT、整理数据、订机票等),在 3~5 步任务上推理与长程规划相当稳健,人需要干预的颗粒度在变粗。但另一类任务是链条很长(细拆几十个步骤)、确定性要求很高(高准确率、可追溯、可审计)、过程低人为甚至无人为干预、最后只审结果——这类任务不能交给 Agent 自主规划。
- 招标文件解析是典型样本,并给出量级:从文档提取、格式转化与清洗、内容分块,到义务要求提取、归类、归并、关联、风险排查,每个环节下还有多个细分步骤与并发分支;一份文件解析可能涉及上百次甚至大几百次 LLM 并发调用。作者实测一份 60 页、8 万多字的招标文件共 532 次大模型调用。
- 不能交给 Agent 自主规划的四个理由:① 查错成本高——Claude 丢掉一份招标文件能自主规划并产出”相当可以”的报告,但你不清楚哪里出现幻觉、哪里漏了条款;粗放解读可以,精细化拆解不够。② 质量是”漂的”——任务越长,每次自主规划都不同。③ 非常耗 token——自主规划、纠错等循环动作等于让模型重复干一件本来很确定的事。④ 没有通用对错标准——业务判定规则来自企业自身,临时生成、未经 harness 和 evals 测试的提示词很可能漏洞百出。结论:确定性的东西应该沉淀下来,工作流需要手工编排与工程体系保障。
- 技术栈与”弃用 LangChain”的判断:推荐前端 React、后端 Python FastAPI、存储 Redis + PostgreSQL、后台任务 arq、工作流用状态机主干 + DAG(节点内部),并自建 LLM 底座(模型切换、熔断、格式验证、全局 QPM 限流与并发控制、任务追踪)。作者两年前被 LangChain 的 chain 写法吸引,后来越来越痛恨其黑匣子封装——每次加工程保障都绕不开它的底层架构,于是改为从 base_layer 开始一层层自建;在 AI coding 成熟的今天,抛弃被固化的框架、自己造轮子的成本并不高,掌控性更好。
- 自建 LLM 底座的六个构建层次:① 模型选型——一个主模型加一到两个备用,但实际是”一款模型、几个备用云服务商”(主走 DeepSeek 官方、备用走其他云厂商部署的 DeepSeek),因为 harness 环节模型要固化:同一提示词跑 20 遍在一个模型上调稳,换模型差异就很大,需要做接口/usage/缓存命中方式的适配。② 错误分类——429 过载要杜绝,须在上层队列保障;最恶心的是”API 已连接但迟迟不返回”,错误不触发、只能等任务超时(往往几分钟),解法是不管是否需要流式展示都走流式连接再加一层封装,监控连接建立、首个 chunk、chunk 间隔,设置更短超时。③ 格式验证——开 JSON Object 模式只是第一层,再加 schema validation 只管格式(字段缺不缺、类型对不对),不对就立即在本层重跑、不必升到上层;顺手清掉 ```json 这类 Markdown 标识,多次未解决再软处理或报错。④ 资源平衡——模型实例全局共用,设计项目级/用户级/全局级多层 semaphore,处理全局容量保护、业务公平性、供应商 API 保护三件事;用锁避免竞态,QPM 检查应前置以快速失败。⑤ 任务管理——每次 LLM 调用作为一个 task 记录,用于全局监控。⑥ 多任务并发与缓存命中——实测 DeepSeek 需先跑完两个任务缓存命中才体现,所以先串行跑两个任务再并发剩余;提示词的输入占位要放到最后,让前面的部分成为可复用前缀。
- 状态机工作是保障,DAG 只负责数据依赖:完整状态机包括状态与全局 context 设计(状态数据、过程日志、任务数据、阶段结果)、Redis + PostgreSQL 两级存储、写入竞态保护、arq task 衔接、并发任务断点续传、工作日志发出、人工干预(改结果、重试、重跑、暂停)、前端 snapshot 设计、分析环节的 DAG 设计。关键设计有四点:① 调用级断点续传——context/日志存储与续传存储必须分开(写入频率不同且走 arq,放一起几乎无法避免竞态覆盖),且续传颗粒度要细到单次 LLM 调用,否则 Step 内大几十的并发子任务会整体重跑;② 业务与状态机解耦——状态机做成配置模式,增删环节靠配置,业务节点通过 task 接入,evals 不收敛时可拆步骤而不牵一发动全身;③ 数据分层 + SSE 驱动 HTTP——工作流数据与结果数据分开、context 与阶段结果分开;SSE 只发通知不带 context,前端按通知类型触发 HTTP 拉数据,渲染走后端生产的 snapshot,阶段结果与 snapshot 可增量更新;高频工作日志走 SSE 在前端与 context 拼接、到阶段节点再对账;stepper 与 chat 只是同一份数据的两种前端 adapter;④ DAG 与状态机通过接口对接——状态机受状态推动,DAG 关注数据依赖(某份数据 ready 就启动依赖它的步骤),分析多一个维度只需多一条边而非多一个状态,DAG 有自己完整的存储体系。
- 成本与收益:几个月换一套可复用底座:从 0 到 1 逐步构建,即便有 AI coding 辅助,边学边搭边测试、把中间竞态的坑 debug 干净,实战也要几个月,才有一套稳稳的、可复用的体系;但一旦形成,它是一套通用工程配套,可用于大部分生产级长任务工作流。对无人为过程干预的产品,“任务能跑完”比”中途中断垮掉”对用户更好——超出重试次数的格式异常走软修复,部分写进 check flag 作为用户重点核查点。
实操内容保留
代码/配置
(本文无完整代码块;原文给出的是技术栈与分层设计,可作为选型清单。)
前端:React
后端:Python FastAPI
存储:Redis、PostgreSQL
后台任务:arq
工作流:状态机主干 + DAG(节点内部)
自建 LLM 底座:模型切换、熔断、格式验证、全局 QPM 限流和并发控制、任务追踪LLM 底座的构建顺序(原文第 1–6 小节,自底向上):
1. 模型选型与接入(一款主模型 + 几个备用云服务商,做接口适配)
2. 错误分类与切换时机(429 交给上层队列;卡死用流式信号 + 短超时)
3. 格式验证(JSON Object + schema validation,本层重跑)
4. 资源平衡(全局共用实例 + 多层 semaphore + 锁 + QPM 前置)
5. 任务管理(每次 LLM 调用 = 一个 task)
6. 多任务并发与缓存命中(先串行两个任务,再并发剩余;输入占位放最后)Prompt 模板
(本文无可直接复用的 Prompt 模板。唯一与提示词相关的可操作要求:输入占位放在提示词最后,使前面的内容是稳定、可被缓存复用的前缀。)
操作步骤
原文以 Mermaid sequenceDiagram 描述状态机实例的完整时序。关键事件顺序:
- 前端 → FastAPI:启动 / 审核确认 / 重试
- FastAPI → 状态机实例:调用对应动作
- 状态机 → arq Worker:入队任务(目标状态)
- arq Worker → 状态机:新建实例,从存储加载状态
- arq Worker:校验
expected_state,不一致则丢弃 - arq Worker → 业务节点:执行业务节点
- 业务节点 → 状态机:回调结果
- 状态机:在分布式锁内重新加载状态 → 写入阶段结果 → 执行状态转移
- 分支:需要人工审核 → SSE 通知
review_required,前端拉取 context 确认或重新上传;下一步仍是后台任务 → 入队下一状态;下一步完成 → 触发结果汇总 - 状态机 → 前端:SSE 通知(
state_changed/appended/data_updated);前端 → APIGET context刷新阶段快照
一条工作流的搭建顺序(按原文设计推导):
- 先做 LLM 底座:连通模型,做格式验证与重跑,再做全局资源平衡与调用追踪。
- 再做状态机主干:定义状态与全局 context,接 Redis + PostgreSQL 两级存储,长任务入 arq,加锁保护写入。
- 为断点续传单独建存储,记录到单次 LLM 调用,而不是只记到 Step。
- 把业务节点从状态机中抽出来,用配置增删步骤、用 task 接入节点。
- 分析环节引入 DAG,按”数据 ready”推进,与状态机通过接口对接。
- 前端只消费 SSE 通知 + HTTP 拉取 + 后端 snapshot,必要时做增量更新。
关键概念
- 生产级长任务 — 链条长、确定性要求高、过程低人工干预、只需审核结果的任务类型,本文的核心问题域
- 自建 LLM 底座 — 模型接入、错误分类、格式验证、资源平衡、任务管理、并发缓存的分层封装,本文的”智能节点”层
- 状态机工作流 — 以显式状态推进任务的主干,负责任务衔接、审核、快照、人工干预(本文未单列实体页,概念见正文)
- DAG(数据依赖调度) — 节点内部按数据 ready 调度分析步骤,与状态机解耦、独立存储
- 调用级断点续传 — 恢复颗粒度细到单次 LLM 调用,需要与 context/日志分开的独立存储
- SSE 驱动 HTTP 更新 — SSE 只发通知,HTTP 拉数据,后端 snapshot 驱动前端渲染
- DeepSeek 缓存命中策略 — 先串行两个任务再并发剩余,输入占位放提示词末尾
与其他素材的关联
- 同一素材的另外两个消化版本:2026-10-27-生产级长任务工作流架构-glm-5.3(GLM-5.3)与 2026-10-27-生产级长任务工作流架构-gpt-6-luna(GPT-6 Luna),可直接用于对比同一原文在不同模型下的信息保留与结构化质量。
- 与 Agent Harness 的对照:Harness 讨论的是”如何让多个 Agent 在可控边界内协作”;本文给出的是边界之外的场景——当业务要求可审计、可追溯、无通用对错标准时,只靠 harness + Agent 自主规划仍不够,需要把确定性流程固化为状态机与自建底座。文中”临时提示词未经 harness 和 evals 测试”正是把 harness 当作必要但不充分条件。
- 与 LangChain 的对照:本文明确记录了一次”弃用框架、自建封装”的决策。理由不是框架能力不足,而是黑匣子封装妨碍逐层加工程保障;在 AI coding 时代重构成本下降,作者判断自建更划算。这为 Agentic Workflow 的”确定性管道 + 模糊推理节点”提供了工程侧的具体实现路径(状态机负责确定性,DAG 与 LLM 节点负责分析)。
- 与 提示词工程 的关系:作者刻意不在本文讨论提示词工程,而是把提示词调优放到 harness/evals 与固化流程之内——先有确定的节点与数据结构,再调提示词;这与其”每个节点精细化设计和测试”的主张一致。
原文精彩摘录
这样的生产级任务,目前还没有办法通过 Agent 自主规划来实现。
不得不承认,今天的 Agent 产品已经能自主规划多个步骤。拿 Claude 来说,丢给它一份招标文件,它会自主规划:把 Word 内容提取、分块,甚至会做主题分类,进行义务要求的提取、归纳总结,最后输出报告。我看过那个报告,做得相当可以。但在实际使用的过程中,你并不清楚哪里可能出现了幻觉,哪里漏了条款。总的来说,查错成本高。粗放的解读它做得很好,但要精细化的拆解,还是不够。
还有一点,很多生产级的流程,在市面上是没有通用的对错标准的。它不像编程,代码能不能跑、测试过不过,有明确的判定;业务上的判定规则来自企业自身。每次让 Agent 临时生成一套提示词方案,没有经过 harness 和 evals 的测试,这套提示很可能漏洞百出。
工作流里每一个环节任务拆解的颗粒度、数据输出的结构,都特别影响大模型单点的生产质量。总的来说,生产级的长任务工作流,需要手工编排,需要工程体系的保障,涉及每一个节点精细化的设计和测试。
再比如有一种错误很恶心:API 已经连接,但迟迟没有返回,错误无法触发,只能硬生生等任务超时,一等往往好几分钟。这是前期踩过的一个坑。
这也是为什么,不管是否需要流式展示,我都建议走流式连接,然后自己再加一层封装。流式的反馈更及时,我们可以更细颗粒度地监控连接建立、首个 chunk 返回、chunk 间隔这些信号,设置更短的超时,从而更早发现厂商 API 的异常。
这么设计以后,实际跑下来,很稳。
一份 60 页、8 万多字的招标文件,跑下来共 532 次大模型调用。过程中出现了 9 次格式异常,全部完成了自我修复。
对于我做的这款无需人为过程干预的产品来说,任务能跑完,比中途中断垮掉,对用户更好。过程中做了软修复的地方,根据不同情况,有的会写进 check flag,作为用户重点核查的点。
相关页面
- 2026-10-27-生产级长任务工作流架构-glm-5.3(同一素材的 GLM-5.3 A/B 版本)
- 2026-10-27-生产级长任务工作流架构-gpt-6-luna(同一素材的 GPT-6 Luna A/B 版本)
- 生产级长任务、自建 LLM 底座(本文新建实体)
- Agent Harness、LangChain、Agentic Workflow、提示词工程(相关既有实体页)