生产级长任务工作流的架构保障

面向数十步骤、数百次 LLM 调用且要求高确定性的生产任务,作者主张将确定流程沉淀为可测试的工程系统:以自建 LLM 底座、状态机和 DAG、细粒度断点续传、分层存储与人工审核共同保障稳定性和可追溯性。

基本信息

  • 来源类型:网页文章(掘金)
  • 原文位置:raw/articles/2026-10-27-082602-tg-d2312e.md
  • 原文 URL:https://juejin.cn/post/7699303337993535539
  • 消化日期:2026-10-27
  • 文章主题:生产级长任务的 LLM 工作流架构与可靠性工程

核心观点

  1. Agent 自主规划适合一般多步任务,但不够适合高确定性的生产级长任务:招投标文件解析包含提取、格式转换、清洗、分块、义务抽取、归类、归并、关联和风险排查等环节;单份文件可能触发上百乃至大几百次 LLM 并发调用。自由规划虽能给出看起来不错的报告,但漏条款或幻觉难定位、查错成本高,且长任务的规划结果有波动。
  2. 把稳定流程工程化比每次临时规划更可控、更省 token:任务拆解、上下文工程、提示词 harness 和 evals 应针对业务规则手工编排与测试。业务判定标准通常来自企业自身,不像代码测试那样有通用的对错标准;未经验证的临时提示词方案可能有缺口。
  3. 建议的产品技术栈是分层组合而非单一 Agent:React 前端、FastAPI 后端、Redis 与 PostgreSQL 双存储、arq 后台任务队列、状态机作为主干、DAG 处理节点内部的数据依赖,并自建 LLM 底座负责模型切换、熔断、格式校验、全局 QPM 限流、并发控制与任务追踪。
  4. 模型稳定性和调用可靠性需要在底座解决:选择一个主模型并配一至两个同模型备用服务商,避免频繁更换模型导致已调稳的 prompt/evals 失效;对不同云厂商的接口差异做适配。用流式连接监控连接建立、首 chunk 与 chunk 间隔,设置更短超时;JSON 输出之后再做 schema validation,格式错误先在当前层重跑;QPM 检查应前置,并通过多层 semaphore、锁和公平性控制保护全局及供应商容量。
  5. 可靠工作流的关键是细粒度持久化、解耦和可恢复:状态机管理全局状态与阶段流转,DAG 按数据 ready 关系启动分析;context/日志与断点续传记录分开存储,续传粒度最好细到单次 LLM 调用,避免只在大步骤层恢复而重做大量子任务。业务节点和状态机解耦,支持配置化增删步骤;工作流数据、结果数据、context 与阶段结果分层,并用 snapshot 驱动前端。
  6. 前后端通信以通知和数据拉取分离:SSE 只发送状态/事件通知,不携带庞大的 context;前端收到通知后通过 HTTP 拉取更新数据并渲染后端生成的 snapshot。高频工作日志可在前端与 context 拼接,到阶段节点再对账;阶段结果和 snapshot 可增量更新。stepper 与 chat 是相同底层工作流数据的不同 UI adapter。
  7. 真实案例说明恢复能力比“完全不出错”更可操作:一份 60 页、8 万多字的招标文件共执行 532 次模型调用,出现 9 次格式异常且全部自我修复;超过重试能力的异常可以软修复,并通过 check flag 标记为用户重点复核内容。作者强调,对无人值守产品而言,任务完成并提供可审查的软修复标记,优于中途整体中断。

实操内容保留

代码/配置

(本文无实操代码/配置文件;文中给出的是架构组件和工程设计建议。)

Prompt 模板

(本文无可直接复用的 Prompt 模板。)

操作步骤

文章不是逐条命令教程,但给出了可落地的架构构建顺序与关键设计:

  1. 建立 LLM 调用底座:确定一个主模型及一至两个同模型备用服务商;适配不同服务商的 usage、缓存和接口参数。
  2. 加入调用治理:对 429 等过载通过上层队列预防;采用流式连接观测连接建立、首 chunk 和 chunk 间隔并配置短超时;启用 JSON Object 输出后再做 schema 校验、格式清洗和局部重试。
  3. 实现资源平衡与追踪:全局共用模型实例,设计项目级、用户级、全局级 semaphore;用锁保护并发状态,先检查 QPM;将每次 LLM 调用记录为可监控 task。
  4. 构建状态机主干:定义状态和全局 context,使用 Redis + PostgreSQL 分层存储,保护写入竞态,将长任务交给 arq,并实现人工审核、修改、重试、重跑、暂停及前端 snapshot。
  5. 为调用级续传建立独立存储:将 context/日志存储与续传状态分开;记录并发子任务和单次 LLM 调用完成情况,使恢复时只重做未完成的调用。
  6. 把业务节点从状态机解耦:业务节点通过 task 接入,步骤通过配置增删;评估发现任务间存在张力时,可以拆分节点而不牵动整套状态实现。
  7. 为数据依赖分析增加 DAG:状态机负责流程状态推进,DAG 根据输入数据是否 ready 启动分析节点,并独立维护自身存储;二者通过接口衔接。
  8. 分离通知与数据传输:SSE 推送事件通知,前端按事件类型通过 HTTP 拉取 context/阶段数据,使用后端 snapshot 渲染,并尽可能采用增量更新。
  9. 对异常结果保留审查线索:达到重试上限时采用适当软修复,并将需人工重点核对之处写入 check flag。

关键概念

  • 生产级长任务:步骤链长、准确性和可追溯性要求高、运行过程尽量少人工介入的业务任务。
  • 确定性工作流与 harness/evals:把经过验证的任务拆解、上下文和提示词设计固化下来,以业务评估验证节点质量。
  • 状态机工作流:以显式状态和动作推进任务,承担工作流主干、任务衔接、审核和快照。
  • DAG(有向无环图):按数据依赖和数据 ready 条件调度分析节点,与状态驱动的工作流互补。
  • 调用级断点续传:将恢复状态细化到单次 LLM 调用,避免重跑整个 Step 或阶段。
  • 多层 semaphore、QPM 限流与流式超时:分别控制总容量、公平性、供应商保护,并从流式信号更早发现卡顿。
  • Redis + PostgreSQL、arq、SSE、snapshot:文章建议的存储、后台任务、通知通信和前端状态呈现组件。

与其他素材的关联

当前未在本次素材中确认可直接关联的既有摘要页,因此不创建未经核实的 wiki 双链。文章与一般 Agent 产品讨论的差异在于:重点不在模型能否自主完成任务,而在确定性、审计、故障恢复和人机审核如何由架构保障。

原文精彩摘录

这样的生产级任务,目前还没有办法通过 Agent 自主规划来实现。

对招投标文件解析来说,从文档的提取、格式的转化和清洗、内容的分块,到义务要求的提取、归类、归并、关联、风险排查等等,每个环节下都有多个细分步骤,还有并发分支。一份文件解析下来,可能涉及上百次,甚至大几百次 LLM 的并发调用。

确定性的东西本来就应该沉淀下来,这才是效率最高的做法,也是质量严控的做法。

工作流里每一个环节任务拆解的颗粒度、数据输出的结构,都特别影响大模型单点的生产质量。总的来说,生产级的长任务工作流,需要手工编排,需要工程体系的保障,涉及每一个节点精细化的设计和测试。

一份 60 页、8 万多字的招标文件,跑下来共 532 次大模型调用。过程中出现了 9 次格式异常,全部完成了自我修复。

对于我做的这款无需人为过程干预的产品来说,任务能跑完,比中途中断垮掉,对用户更好。过程中做了软修复的地方,根据不同情况,有的会写进 check flag,作为用户重点核查的点。

相关页面

  • 当前工作流架构、状态机、DAG、断点续传、LLM 底座和限流均作为本文的关键概念记录;未链接尚未核验存在的实体页。