AI评估计分板
由产品经理主导、为具体业务量身定制的AI产品评估体系，将”用户体感”量化为可追踪的R-U-B三维硬核指标，终结算法指标与业务指标脱节的”体感迷雾”
简介
AI评估计分板（Evaluation Scoreboard）是一套为AI原生产品设计的业务评估基础设施。它解决的核心问题是：算法团队展示的评测指标（MMLU、BLEU、ROUGE等公开数据集分数）与业务实际表现（工单投诉量、留存率、转化率）之间严重脱节——算法指标SOTA但业务大盘崩盘，PM手握用户原声却给不出量化报告。
传统互联网时代，PM是”流量精算师”，A/B Test跑一周看转化漏斗即可；但AI原生应用中，大模型的Bug是弥散性的（幻觉、语气生硬、逻辑滑坡），而非传统软件的非黑即白。PM必须从”流量精算师”升级为”认知的度量衡”——评估计分板就是这个度量衡的具体落地工具。
评估计分板由三大基石构成：黄金基准集（Golden Set）提供评估数据基础，R-U-B三维漏斗模型提供指标框架，LLM-as-a-Judge提供自动化评测能力。三者缺一则体系不完整。
关键信息
- 类型：概念
- 领域：AI产品管理、模型评估
- 核心组成：Golden Set（评估数据）+ R-U-B模型（指标框架）+ LLM-as-a-Judge（自动化评测）
- 相关概念：提示词工程（Meta-Prompt）、RAG 知识库（红线规则外挂）、MVP（评估分层）
核心特性
一、黄金基准集（Golden Set）——评估的数据地基
Golden Set是评估体系的”法官席”，产品经理必须是第一代高级标注员——不能把构建测试集的工作外包给标注团队或让算法同学自己跑脚本。
“脏数据”原则：标准正向数据不超过60%，40%留给Edge Cases和Adversarial Inputs。真实业务输入夹杂错别字、方言、机器翻译”塑料外语”、情绪发泄和无头上下文，不用含业务噪音的脏数据评测，得到的永远是温室高分。
四阶生命周期（Golden Set不是静态Excel，需要新陈代谢）：
- 基础池（Base Set）：覆盖日常80%高频标准业务链路，保障模型迭代时不发生灾难性遗忘（Catastrophic Forgetting）
- 陷阱池（Trap Set）：针对大模型常见缺陷设计极端测试题——容易被诱导更改规则、处理复杂多重指令时丢失约束
- 红线池（Red-line Set）：业务生死线，涉及金额赔付/法律合规/敏感数据越权查询，容错率=0，一票否决
- 活水池（Feedback Loop）：每日将线上用户”踩”和转人工的Bad Case清洗后源源不断补充
标注SOP指南：PM需撰写几十页甚至上百页标注指南（Annotation Guidelines），明确定义”语义相关但事实错误""过度承诺""机械感回复”等边界概念。判断AI回答是否达标不只看”结论对不对”，还要拆解”推理过程是否符合业务SOP”——颗粒度极细的标准上PM必须与算法、业务运营达成绝对一致，否则评估指标产生致命偏移。
二、R-U-B三维漏斗评估模型——指标框架
将虚无缥缈的”智能感”拆解为三个维度的可追踪硬核指标：
维度一：R（Result）——结果的确定性与质量
大模型本质是概率预测机器，商业系统要求确定性。不看传统PPL（困惑度），看三个业务指标：
- 指令遵循率（Constraint Adherence）：B端SaaS常让模型输出严格JSON格式供下游API调用，模型因”太聪明”私自加字段或破坏JSON结构=严重故障
- 业务幻觉率（Business Hallucination Rate）：不是测模型会不会胡编历史人物，而是测会不会”发明”不存在的物流状态、凭空承诺不符合公司政策的赔偿方案
- 鲁棒性/一致性得分（Robustness）：改变Prompt表达方式（肯定句→双重否定句、简体→繁体），模型核心决策是否一致，波动超阈值说明知识不扎实只是词汇拼凑
维度二：U（User Experience）——交互的”呼吸感”
AI产品有”体温”，体验层数据决定产品生死：
- 首字到达时间（TTFT）：极关键心理学指标，>0.8秒用户产生卡顿焦虑感，决定是否做”假加载”或优化流式输出颗粒度
- 平均对话轮次与修正成本：效率型工具中对话轮次越长AI越笨，用户反复修改3次提示词才逼近结果=高昂修正成本，功能必被抛弃
- 对话修复率（Conversational Repair）：模型被纠正后第二轮立即领悟给出正确结果的概率，反映上下文窗口利用率和意图纠偏能力
维度三：B（Business）——商业损益终极裁决
不能带来商业价值的AI功能就是耍流氓，顶层计分板必须挂钩核心业务数据：
- 有效拦截率（Ticket Deflection Rate）：客服场景北极星指标，不只看AI回复多少条，看用户交互后未再”转人工”或提交后续工单的比例——AI真正终结了问题生命周期
- Token投产比（ROI per 1k Tokens）：处理退货申诉用GPT-4o约0.2元/次 vs 人工3元/次，但模型决策错误导致高额售后赔偿时ROI为负
- 高阶行动采纳率（Action Acceptance Rate）：Copilot类辅助工具最诚实指标——不是点击”生成”次数，而是用户最终”发布”时对AI内容未经修改直接采纳的比例
三、LLM-as-a-Judge——自动化评测流水线
当业务扩张后每天数万条对话日志，PM和业务专家24小时也标不过来。用AI评测AI的效率革命：
裁判模型选型：不用线上业务模型评测自己（盲目自信），调用更强模型（Claude 3.5 Sonnet/GPT-4o级别）作仲裁者，将标注SOP翻译为超级提示词（Meta-Prompt）
80/20人机协同：LLM-as-a-Judge过滤80%显而易见的错误并自动归类（理解错/知识库没召回/语气问题），评估频率从每周一次→每小时一次；剩余20%边界问题需人类PM介入——自动化最大价值是解放PM去解决疑难杂症和挖掘新业务动线，而非彻底甩手
四、跨部门扯皮终结——真实”灾难重构”案例
某出海SaaS”AI运费测算与物流线路推荐”功能：算法报93%推荐准确度，但客服每天收到大量投诉（推荐线路发不了带电池敏感货，货物海关被扣损失惨重）——算法只评估时效价格是否准确，忽略清关属性限制。
PM三步重构：
- R维度加入”禁限运规则冲突率”一票否决权：带电池货物推荐纯普货航线直接0分，逼算法团队外挂RAG做规则校验
- U维度加入”信息溯源与置信度展示”：AI必须列边界提示（“基于包裹为普货假设，若含电池请忽略此推荐”），否则扣体验分
- B维度北极星从”推荐准确率”改为”方案一次性通关率”和”异常扣件赔付金额占比”——带着商业损益的数字让三个团队不再各说各话
不同素材中的观点
-
2026-08-11-smart-cs-evaluation-framework（2026-08-11 新增）：凌青在智能客服场景中将评估计分板思想落地为三层评测框架，与 R-U-B 高度同构——模型质量层 ≈ R，任务完成层 ≈ U+B，业务指标层 ≈ B。核心贡献四点：① 三种架构绑定三层天花板（能回答 20-40% / 能解决 40-60% / 能代办 70-85%），避免”FAQ机器人背上解决率70%的KPI”这种错配；② 系统性批判拦截率——拦截率区分不了”解决”和”挡走”，行业正从 deflection 转向 resolution，给 R-U-B 的 B 维度补上了客服场景的北极星迁移路径；③ 把 Golden Set 的构建延伸到 LLM-as-a-Judge 的执行纪律——考题从哪来（Golden Set）→ 谁来打分（LLM法官 LACE 三档）→ 按什么颗粒度（会话级指标）→ 打几次才算数（pass^k 稳定性），并给出 Instacart LACE / Confident AI DeepEval / Sierra τ-bench 三套公开参考；④ 对标四坑（口径不统一/自报数据/跨行业/CSAT偏差）给出了客服场景的对标破法，其中”口径三连问”（分母/判定者/观察窗口）可复用到一切 AI 产品的解决率口径对齐。
-
2026-07-23-woshipm-ai-pm-workbase-changed（2026-07-23 新增）：从职业分水岭与面试表达侧给评估体系加权重——传统通过/失败验收不够，AI 要看准确率、延迟、成本、幻觉率、鲁棒性”一屏指标”；完整迭代判断约 2–4 周；准确率阈值、”我不知道”何时允许、幻觉红线、自动/人工评估配比”课堂上教不会，得在真实产品里泡”。与计分板落地件互补：本文回答”为什么评估是真假 AI PM 的分界”，计分板回答”Golden Set / R-U-B / Judge 怎么建”。
-
2026-05-11-ai-evaluation-scoreboard：AI评估计分板的核心构建者视角，提出三大认知重构（公开评测集陷阱、全生命周期监控、定义权在产品）+ Golden Set四阶生命周期 + R-U-B三维漏斗模型 + LLM-as-a-Judge自动化评测 + 跨部门扯皮终结案例。核心论点：PM将”用户体感”量化为”业务指标”的能力才是任何AI都无法替代的职业护城河。
-
2026-05-20-ai-pm-competitive-analysis：从 PM 个人 4 周血泪视角对评估计分板的命题做镜像验证——浩子AIPM 第一周用 MMLU/GSM8K/HumanEval 综合得分推荐”最高的那家”，被反问”你在自己的业务场景里试过吗？“；POC 阶段结果完全反转，公开榜单分数最高的模型在业务场景下表现反而不如分数靠后的模型。作者重建出”自建评测集三原则”——优先采 Bad Case（从真实业务日志捞翻车记录，AI 生成的样本只作补充，对应本计分板的”红线池 + 活水池”）、场景化拆维度（推理类看逻辑链 / 生成类看流畅度 / 问答类看准确率，对应 R-U-B 三维的细化）、人工筛选不可省（AI 生成的题目大概率有偏差，对应本计分板”PM 必须是第一代高级标注员”原则）。作者把”会不会做 AI 评测”列为 AI PM 求职市场上区分度最高的硬技能，与本计分板”PM 评估能力是职业护城河”完全同源。两篇构成”评估计分板（企业级体系）+ AI 竞品分析（PM 个人方法论）“的完整双视角。
-
2026-05-18-woshipm-ai-product-prd：把评估计分板的思想前移到 PRD 阶段。青钰 / CyberHuck 的医药翻译 Agent 按错误代价反推评测权重：准确性 40%、安全性 30%、专业度 20%、有用性 10%，其中安全性因不可逆风险设置 0 分一票否决。这与本页 Golden Set 的红线池同源——业务生死线不能被总体平均分掩盖。文章还把 Bad Case 池写入 PRD：错误样本、错误类型、根因、修复方案、5+ 条历史 case 回归验证、关联 case 和状态形成“归档→归因→修复→验证→沉淀”闭环，累计 47 条 Bad Case、闭环修复 43 条、闭环率 91.5%。这说明 AI 评估不是开发后测试环节，而是产品定义的一部分。
-
2026-05-18-woshipm-ai-pm-interview-2-questions：把评估计分板能力压缩进 AI PM 面试场景。作者给出的智能客服”四层防火墙”不是单纯技术方案，而是一套可评测的产品治理闭环：边界约束降低越界回答，RAG 知识库提高依据可靠性，人工审核错题本把 Bad Case 转成迭代素材，监控指标持续追踪幻觉率、用户投诉率、转人工率和满意度。文中案例从幻觉率 15% 降到 3% 以下、用户满意度提升 25%，说明 AI PM 在面试中不能只说”用 RAG/微调”，还要能定义什么指标证明方案真的有效。这与本页”好由 PM 定义而非算法定义”的原则一致。
-
2026-05-26-woshipm-ai-pm-core-knowledge：一亮AI 把评估计分板定位为 AI PM 四大核心能力的底座，并贡献了可直接用于团队沟通的”实战话术”模板。文章强调 Assessment 思维要从功能思维中独立出来——很多团队”会做功能”但不会”做评估系统”，导致算法指标和业务指标脱节。与已有 Golden Set + R-U-B 框架互补的新视角包括：（1）Context Window 应作为预算管理而非越大越好，AI PM 需做上下文管理；（2）Hallucination 是概率模型的系统性风险而非偶发事故，产品层必须做前置拦截+异常兜底+结果追溯；（3）Formatting Guardrails（JSON Schema/函数调用）是涉及流程编排和数据库写入场景的工程生命线；（4）Tokenomics 和 Model Routing——AI 产品”上线后每次点击都在花钱”，强模型做高认知复杂任务、轻模型做抽取分类校验、规则引擎做确定性流程，可执行目标是 3-6 周把单次有效生成成本压降 30%-50%。
-
2026-07-07-woshipm-ai-pm-five-judgments：从一位 AI PM 的八年实战复盘中再次确认“测评和自迭代必须从产品定义第一天开始”。作者把理想测评体系拆成三层：上线前离线评测定义“好”的标准，上线后用户反馈机制收集点赞、纠错、举报等信号，数据回流和模型迭代闭环把用户使用过程变成持续进化引擎。这与本页 Golden Set、Bad Case 活水池和 R-U-B 看板完全同源，只是本文更强调：如果产品上线时没有测评体系，模型版本、Prompt 策略和数据分布变化都会让线上表现变成黑盒。
-
2026-07-07-woshipm-agent-safety-guardrails：把 Agent 安全护栏转成可评估的产品指标体系。素材要求在 PRD 中记录护栏命中率、误拦率、漏拦案例、人工接管比例、响应延迟和用户放弃率，这些指标可以直接接入本页的 R-U-B 框架：R 维度看高风险任务是否正确拦截、输出是否有证据；U 维度看误拦、延迟和放弃率是否伤害体验；B 维度看漏拦是否造成真实赔付、合规或声誉损失。本文还把”低风险快、中风险稳、高风险停下来确认”的 风险路由 变成评测集设计对象：Golden Set 不只要测回答对不对，还要测系统是否把请求路由到正确护栏强度。
-
2026-07-16-woshipm-five-year-pm-ai-direction：给出了”评估不是学出来的，而是练出来的”的实践视角。作者养成的习惯是试用任何 AI 产品时都带评估框架去思考：用 AI 搜索就想它的回答来源、漏了多少、错了吗、能接受这个错误率吗；用 AI 聊天就想它的记忆窗口、上下文超过多少条开始胡说、回复速度够快吗。关键判断：一个 AI PM 和一个传统 PM 最核心的区别，就是有没有对”不确定性”的本能警惕——传统PM追求确定（点了按钮一定跳那个页面），AI PM面对的是概率（同一个问题问两次答案可能不一样）。这种差异在面试时一眼就能被看出来。这与本页的核心理念同源——评估计分板的目标就是把”用户体感”量化为可追踪指标，而”建立评估肌肉记忆”是让PM在日常中就养成这种量化的本能。
实用信息
-
快速上手步骤：
- 从线上日志中挖掘真实”刺头问题”（脏数据），构建Golden Set四阶池（基础池60%+陷阱池+红线池+活水池）
- 按R-U-B三维搭建指标看板：R维度量化结果确定性，U维度量化交互体验，B维度挂钩商业损益
- 在 PRD 阶段写清每个维度的权重和红线：按错误代价的不可逆程度反推，不要等上线后再补评测口径
- 引入更强模型做裁判（LLM-as-a-Judge），将标注SOP翻译为Meta-Prompt，实现80%自动化评测
-
常用提示词/命令：见素材摘要页的”裁判Prompt结构拆解示例”，包含角色设定、任务描述、四维打分规则（事实准确性/情绪安抚度/行动引导性/红线规则）和JSON输出格式要求
-
注意事项/避坑指南：
- Golden Set中标准正向数据绝不能超过60%，否则评估永远是温室高分
- 红线池的容错率必须是0，没有任何”整体正确率”可以讨价还价
- 不要用线上业务模型评测自己，它会有盲目的自信
- LLM-as-a-Judge不是彻底甩手，20%边界问题必须人类PM介入
- 标注SOP的颗粒度必须极细——“结论对不对”不够，还要拆解”推理过程是否符合业务SOP”
- Tokenomics：AI 产品上线后每次点击都在花钱，PM 必须掌握输入/输出 token 成本、长上下文成本、并发压力和功能级 ROI。用 Model Routing 做成本效果平衡——强模型做高认知复杂任务、轻模型做抽取分类校验、规则引擎/代码做确定性流程，配合积分机制限制无效重试
-
实战话术模板（来自 2026-05-26-woshipm-ai-pm-core-knowledge，可直接用于跨部门沟通）：
- 技术边界：「我不追求模型神话般准确率，而是用格式强约束和任务拆解做 Fail Fast」
- R-U-B 评估：「我们不再单看算法准确率，而是用 R-U-B 看板统一目标——先守红线，再提体验，最后看商业增量」
- 商业测算：「我们把高复杂推理路由到强模型，抽取与校验路由到轻模型和规则引擎，并用积分机制限制无效重试」