输出失败诊断树

面对 AI「答得像对的」或整体效果不好时,先命名症状,再按输入 / 过程 / 输出 / 验证四层路由,只打一条规则补丁并用相近任务复测——把返工变成可归因的诊断证据。

简介

输出失败诊断树来自 Zoe「AI 协作」系列二第 8 篇,是对“这次效果不好”这句话的手术刀。很多人改 AI 工作流时第一反应是继续优化 prompt、加角色、加模板、调语气;但“效果不好”可能是完全不同的病:写空、编造、中途跑偏、形态不可交付、细查才出错、换任务失效。若层判错,修错层只会让错误更完整、更像正确答案。

诊断树不追求把问题变复杂,而是挡住三类常见误判:把输入问题当输出问题、把过程问题当模型问题、把验证问题当文风问题。它与 Skill 版本记录 同一逻辑——一次只改一条、必须复测、结果可归因——但更前置:在改规则之前,先给失败命名并判定主因层。

关键信息

  • 类型:概念 / 方法论
  • 领域:AI 协作 · Skill 维护 · 产品经理工作流
  • 适用对象:PRD/需求初稿、方案文档、Agent 中间产物、任何“看起来完整但返工”的 AI 输出
  • 前置依赖:已有一份真实失败输出(不要从空想优化开始)
  • 相关概念SkillSkill 版本记录Skill 交接条件事实标签提示词工程HITL

核心特性

定义

输出失败诊断树 = 症状命名 + 四层主因路由 + 最小规则补丁 + 四态复测。它不是新的模型能力,而是人机协作中的质量工程习惯:先定位,再动刀。

六类症状(先命名,禁止写“效果不好”)

症状典型表现常误修方向
空泛像行业百科,缺业务事实与边界加“更专业、更全面”→ 更有条理地空
编造未确认规则被写成事实只改语气/格式,不拦无源判断
跑偏前面理解错,后面一路跟着错只改最终输出模板
不可交付有用段落存在,但形态进不了文档/评审继续堆内容长度
难复核看起来完整,细查才发现例外与边界漏了调“更像自己的文风”→ 错误更难发现
换任务失效本任务好用,相近任务失效针对单样本硬编码规则

四层主因(路由口诀)

  1. 输入层:事实不够——缺业务规则、系统能力、授权状态、范围边界
  2. 过程层:中途跑偏——缺检查点、缺“待确认先停”、中间判断错后仍写完
  3. 输出层:有用但不好交付——结构、章节、粒度、交付形态不对
  4. 验证层:看不出错——缺自查清单、事实标签、例外场景与边界检查

诊断树决策路径

  1. 最明显症状是哪一类?(六选一)
  2. 关键判断有没有事实来源?无 → 输入;有 → 继续
  3. 是否在某中间判断后开始跑偏?是 → 过程;否 → 继续
  4. 内容有用但形态不能交付?是 → 输出;否 → 继续
  5. 需人工细查才发现?是 → 验证;否 → 回到症状重判

最小修复与复测四态

  • 只改一条规则:例如“触达渠道/发送能力/用户授权未提供时,不得写入短信/邮件/站内信方案,须列为待确认并说明影响章节”
  • 复测用相近不同任务:验证迁移,而非背题
  • 结果四态:消失 / 缓解 / 无效 / 转移(原问题好了但出现新副作用)

与相近概念的区别

概念回答的问题与诊断树关系
提示词工程怎么写得更好诊断树要求:未命名失败前不要继续堆 prompt
Skill 版本记录改了什么、为何改、怎么验证诊断树产出可直接填进版本工单
Skill 交接条件别人何时能用、何时必须停“未确认不得成文”是交接停止边界的具体补丁形态
事实标签输出里哪些是事实/推断/待确认编造与输入层问题的主治理手段
幻觉治理方案模型胡说怎么办诊断树先问:是输入缺事实还是验证缺清单,而不是默认换模型

不同素材中的观点

  • 2026-07-19-woshipm-ai-output-failure-diagnosis:完整给出症状六类、四层口诀、五步诊断树、修复工单字段、30 分钟练习与匿名案例回流格式。核心主张:低质量输出不是一种病;最小修复 + 四态复测比“感觉好多了”更有用;群体结构化失败会沉淀成方法。系列下篇将从单点诊断扩展到多 Skill 流水线交接。

实用信息

修复工单(可直接复制)

失败样本:
这次症状:(空泛/编造/跑偏/不可交付/难复核/换任务失效)
主因层级:(输入/过程/输出/验证)
判断证据:
本次只改:(一条规则)
复测任务:(相近但不同)
复测结果:(消失/缓解/无效/转移)
新问题:
下一步:

30 分钟练习节奏

  1. 5 分钟:选最近返工输出
  2. 5 分钟:命名六类症状之一
  3. 10 分钟:判唯一主因层并写证据
  4. 5 分钟:只写一条规则补丁进 Skill / 指令
  5. 5 分钟:选定复测任务与观察点

避坑

  1. 不要在未命名症状时重写整份 Skill
  2. 不要一次改多层规则,否则无法归因
  3. 不要用同一任务“再跑一次”当复测
  4. 不要把“转移”误判成成功——原问题消失但新副作用出现时,要记入下一版
  5. 不要把验证层问题当文风问题:语气越像自己,错误可能越难被发现

完成标志

不是 Skill 变完美,而是留下四条证据:症状是什么;病因在哪一层;本次只改了什么;复测要观察什么。

相关页面