Agent 工作流测试集
用真实工作案例标注正确处理方式，持续评估 agent 在分类、补问信息、工具调用、转人工和最终结果上的稳定性；既是质量工具，也是 Agent SaaS 的销售信任工具。
简介
Agent 工作流测试集是 Agent SaaS 从演示走向可交付工作的关键基础设施。它不是通用模型评测题，也不是只看回答是否流畅的问答集，而是围绕某一个具体 workflow 收集真实案例，标注“这个案例应该怎么处理才算对”。每次修改 prompt、模型、工具、规则或工作流，都让 agent 回到测试集里跑一遍，观察分类是否正确、补问信息是否合理、是否越权行动、是否应该转人工、最终结果是否满足业务标准。
Greg Isenberg 在素材中把测试集比喻为 agent 的“健身房”。这个比喻很准确：agent 每次迭代都要回到同一批真实任务中训练和复测，才能知道它有没有真的变强。对客户来说，测试集还具备销售信任价值。相比“我们的 AI 很智能”，更有说服力的是“我们在你过去 50 条维修请求上跑了一遍，42 条分类正确，6 条被标记为需要人工复核，2 条出错；这 2 条为什么错，我们怎么修”。
关键信息
- 类型：Agent 评估 / Workflow Eval / 销售证明材料
- 核心对象：真实工作案例，而不是抽象问答题
- 常见规模：早期 50 个案例即可起步
- 评估维度：分类、补问、策略、工具使用、转人工、结果完成、风险边界
- 适用场景：电话 agent、维修分诊、线索筛选、退款处理、客服工单、销售跟进、预约协调
核心特性
1. 来源必须是真实工作，而不是脑补样例
Agent 工作流测试集的价值来自真实性。真实电话、真实工单、真实线索、真实维修请求中包含大量边缘情况：客户说话不完整、信息缺失、规则冲突、VIP、投诉、金额超过阈值、服务区域不匹配、供应商不可用。脑补样例往往过于干净，会让 agent 在演示中表现很好，在上线后遇到真实噪声就失败。
因此测试集最好来自目标客户过去的历史记录，或者来自观察真人工作时收集的 10-20 个案例，再逐步扩展到 50 个甚至更多。
2. 标注的不只是答案，而是处理策略
普通问答测试通常只标“正确答案是什么”。Agent 工作流测试集要标注更丰富的处理策略：应该归为哪类、还缺什么信息、可以调用哪些工具、是否能自动执行、何时必须转人工、最终要写回哪个系统、完成标志是什么。这些标注让测试集可以评估 agent 的行动边界，而不只是语言输出。
例如物业维修请求中，“空调不制冷”不只是分类为 HVAC，还要看是否需要补问地址、是否在服务区域、是否紧急、是否已有保修、是否需要供应商派单、是否涉及费用审批。
3. 回归测试防止 prompt 和工具改动带来倒退
Agent 系统的 prompt、模型、工具、上下文和 workflow 都会迭代。每次改动都可能让某些旧案例变差。测试集的作用是提供回归基线：改动前后对比正确率、需人工复核比例、错误类型和越权行为，避免“修了一个边缘案例，破坏了十个常见案例”。
这与软件工程中的单元测试和回归测试类似，只是测试对象从代码函数变成了带推理和工具调用的工作流。
4. 透明错误比完美承诺更能建立信任
素材强调，测试集还可以变成销售工具。对传统行业客户来说，完全声称“AI 不会错”反而不可信。更有效的方式是透明展示：哪些案例正确，哪些需要人工复核，哪些出错，错误原因是什么，已经如何修复。客户关心的是系统是否可控、错误是否可见、边界是否清楚，而不是 AI 是否永远神奇。
这也解释了为什么 agent SaaS 需要日志、审批、测试区和控制室包装：测试集展示的是上线前可信度，控制室展示的是上线后的持续可信度。
不同素材中的观点
来自 2026-07-07-woshipm-agent-new-saas：
- 在承诺 agent 自主之前，先做一个小规模测试集，找 50 个真实案例，标出正确答案。
- 案例可以是 50 通电话、50 条线索、50 条维修请求，关键是贴近真实 workflow。
- 每次修改 prompt、模型、工具或 workflow，都让 agent 回到测试集跑一遍，立刻知道好坏。
- 测试集像“健身房”，agent 不是一次训练完成，而是持续通过真实案例锻炼和校验。
- 测试集也是销售工具：向物业经理展示“过去 50 条维修请求中 42 条分类正确、6 条需人工复核、2 条出错以及修复方式”，比空泛演示更能建立信任。
- 透明承认错误并说明修复路径，比炫技更适合那些经营传统但确实需要 agent 的生意。
与相似概念的区别
| 概念 | 评估对象 | 与 Agent 工作流测试集的差异 |
|---|---|---|
| 模型 Benchmark | 模型通用能力 | 工作流测试集评估具体业务流程和行动边界 |
| Prompt 测试 | 单轮输出质量 | 工作流测试集覆盖多步任务、工具调用和转人工 |
| 软件单元测试 | 函数或模块行为 | 工作流测试集更像“业务用例回归测试”，处理自然语言和模糊案例 |
| 客户案例 Demo | 展示效果 | 测试集可重复运行、可统计、可定位错误类型 |
实用信息
最小测试集字段模板
| 字段 | 说明 |
|---|---|
| case_id | 案例编号 |
| 原始输入 | 电话转写、工单正文、线索表单、聊天记录 |
| 背景信息 | 客户类型、历史订单、服务区域、当前系统状态 |
| 正确分类 | 工单类型、线索质量、退款类型、紧急程度 |
| 必须补问 | 缺失字段和问题话术 |
| 可用工具 | 需要查询或写入的系统 |
| 允许动作 | agent 可直接执行的动作 |
| 转人工条件 | 低置信度、投诉、VIP、高金额、规则冲突等 |
| 正确结果 | 完成标志和写回内容 |
| 风险备注 | 合规、承诺、费用、客户体验风险 |
早期使用方法
- 从客户历史数据中抽 50 个真实案例。
- 请真人专家或业务负责人标注正确处理方式。
- 让 agent 在只读或模拟环境中跑一遍。
- 统计正确、需复核、错误、越权四类结果。
- 复盘错误类型：信息缺失、规则没写清、工具不可用、判断边界模糊、prompt 表达错误。
- 修改规则后重新跑测试集，直到核心场景稳定。
- 把测试结果整理成客户能看懂的上线前可信度报告。