AI评估计分板
由产品经理主导、为具体业务量身定制的AI产品评估体系，将”用户体感”量化为可追踪的R-U-B三维硬核指标，终结算法指标与业务指标脱节的”体感迷雾”
简介
AI评估计分板（Evaluation Scoreboard）是一套为AI原生产品设计的业务评估基础设施。它解决的核心问题是：算法团队展示的评测指标（MMLU、BLEU、ROUGE等公开数据集分数）与业务实际表现（工单投诉量、留存率、转化率）之间严重脱节——算法指标SOTA但业务大盘崩盘，PM手握用户原声却给不出量化报告。
传统互联网时代，PM是”流量精算师”，A/B Test跑一周看转化漏斗即可；但AI原生应用中，大模型的Bug是弥散性的（幻觉、语气生硬、逻辑滑坡），而非传统软件的非黑即白。PM必须从”流量精算师”升级为”认知的度量衡”——评估计分板就是这个度量衡的具体落地工具。
评估计分板由三大基石构成：黄金基准集（Golden Set）提供评估数据基础，R-U-B三维漏斗模型提供指标框架，LLM-as-a-Judge提供自动化评测能力。三者缺一则体系不完整。
关键信息
- 类型：概念
- 领域：AI产品管理、模型评估
- 核心组成：Golden Set（评估数据）+ R-U-B模型（指标框架）+ LLM-as-a-Judge（自动化评测）
- 相关概念：提示词工程（Meta-Prompt）、RAG 知识库（红线规则外挂）、MVP（评估分层）
核心特性
一、黄金基准集（Golden Set）——评估的数据地基
Golden Set是评估体系的”法官席”，产品经理必须是第一代高级标注员——不能把构建测试集的工作外包给标注团队或让算法同学自己跑脚本。
“脏数据”原则：标准正向数据不超过60%，40%留给Edge Cases和Adversarial Inputs。真实业务输入夹杂错别字、方言、机器翻译”塑料外语”、情绪发泄和无头上下文，不用含业务噪音的脏数据评测，得到的永远是温室高分。
四阶生命周期（Golden Set不是静态Excel，需要新陈代谢）：
- 基础池（Base Set）：覆盖日常80%高频标准业务链路，保障模型迭代时不发生灾难性遗忘（Catastrophic Forgetting）
- 陷阱池（Trap Set）：针对大模型常见缺陷设计极端测试题——容易被诱导更改规则、处理复杂多重指令时丢失约束
- 红线池（Red-line Set）：业务生死线，涉及金额赔付/法律合规/敏感数据越权查询，容错率=0，一票否决
- 活水池（Feedback Loop）：每日将线上用户”踩”和转人工的Bad Case清洗后源源不断补充
标注SOP指南：PM需撰写几十页甚至上百页标注指南（Annotation Guidelines），明确定义”语义相关但事实错误""过度承诺""机械感回复”等边界概念。判断AI回答是否达标不只看”结论对不对”，还要拆解”推理过程是否符合业务SOP”——颗粒度极细的标准上PM必须与算法、业务运营达成绝对一致，否则评估指标产生致命偏移。
二、R-U-B三维漏斗评估模型——指标框架
将虚无缥缈的”智能感”拆解为三个维度的可追踪硬核指标：
维度一：R（Result）——结果的确定性与质量
大模型本质是概率预测机器，商业系统要求确定性。不看传统PPL（困惑度），看三个业务指标：
- 指令遵循率（Constraint Adherence）：B端SaaS常让模型输出严格JSON格式供下游API调用，模型因”太聪明”私自加字段或破坏JSON结构=严重故障
- 业务幻觉率（Business Hallucination Rate）：不是测模型会不会胡编历史人物，而是测会不会”发明”不存在的物流状态、凭空承诺不符合公司政策的赔偿方案
- 鲁棒性/一致性得分（Robustness）：改变Prompt表达方式（肯定句→双重否定句、简体→繁体），模型核心决策是否一致，波动超阈值说明知识不扎实只是词汇拼凑
维度二：U（User Experience）——交互的”呼吸感”
AI产品有”体温”，体验层数据决定产品生死：
- 首字到达时间（TTFT）：极关键心理学指标，>0.8秒用户产生卡顿焦虑感，决定是否做”假加载”或优化流式输出颗粒度
- 平均对话轮次与修正成本：效率型工具中对话轮次越长AI越笨，用户反复修改3次提示词才逼近结果=高昂修正成本，功能必被抛弃
- 对话修复率（Conversational Repair）：模型被纠正后第二轮立即领悟给出正确结果的概率，反映上下文窗口利用率和意图纠偏能力
维度三：B（Business）——商业损益终极裁决
不能带来商业价值的AI功能就是耍流氓，顶层计分板必须挂钩核心业务数据：
- 有效拦截率（Ticket Deflection Rate）：客服场景北极星指标，不只看AI回复多少条，看用户交互后未再”转人工”或提交后续工单的比例——AI真正终结了问题生命周期
- Token投产比（ROI per 1k Tokens）：处理退货申诉用GPT-4o约0.2元/次 vs 人工3元/次，但模型决策错误导致高额售后赔偿时ROI为负
- 高阶行动采纳率（Action Acceptance Rate）：Copilot类辅助工具最诚实指标——不是点击”生成”次数，而是用户最终”发布”时对AI内容未经修改直接采纳的比例
三、LLM-as-a-Judge——自动化评测流水线
当业务扩张后每天数万条对话日志，PM和业务专家24小时也标不过来。用AI评测AI的效率革命：
裁判模型选型：不用线上业务模型评测自己（盲目自信），调用更强模型（Claude 3.5 Sonnet/GPT-4o级别）作仲裁者，将标注SOP翻译为超级提示词（Meta-Prompt）
80/20人机协同：LLM-as-a-Judge过滤80%显而易见的错误并自动归类（理解错/知识库没召回/语气问题），评估频率从每周一次→每小时一次；剩余20%边界问题需人类PM介入——自动化最大价值是解放PM去解决疑难杂症和挖掘新业务动线，而非彻底甩手
四、跨部门扯皮终结——真实”灾难重构”案例
某出海SaaS”AI运费测算与物流线路推荐”功能：算法报93%推荐准确度，但客服每天收到大量投诉（推荐线路发不了带电池敏感货，货物海关被扣损失惨重）——算法只评估时效价格是否准确，忽略清关属性限制。
PM三步重构：
- R维度加入”禁限运规则冲突率”一票否决权：带电池货物推荐纯普货航线直接0分，逼算法团队外挂RAG做规则校验
- U维度加入”信息溯源与置信度展示”：AI必须列边界提示（“基于包裹为普货假设，若含电池请忽略此推荐”），否则扣体验分
- B维度北极星从”推荐准确率”改为”方案一次性通关率”和”异常扣件赔付金额占比”——带着商业损益的数字让三个团队不再各说各话
不同素材中的观点
-
2026-05-11-ai-evaluation-scoreboard：AI评估计分板的核心构建者视角，提出三大认知重构（公开评测集陷阱、全生命周期监控、定义权在产品）+ Golden Set四阶生命周期 + R-U-B三维漏斗模型 + LLM-as-a-Judge自动化评测 + 跨部门扯皮终结案例。核心论点：PM将”用户体感”量化为”业务指标”的能力才是任何AI都无法替代的职业护城河。
-
2026-05-20-ai-pm-competitive-analysis：从 PM 个人 4 周血泪视角对评估计分板的命题做镜像验证——浩子AIPM 第一周用 MMLU/GSM8K/HumanEval 综合得分推荐”最高的那家”，被反问”你在自己的业务场景里试过吗？“；POC 阶段结果完全反转，公开榜单分数最高的模型在业务场景下表现反而不如分数靠后的模型。作者重建出”自建评测集三原则”——优先采 Bad Case（从真实业务日志捞翻车记录，AI 生成的样本只作补充，对应本计分板的”红线池 + 活水池”）、场景化拆维度（推理类看逻辑链 / 生成类看流畅度 / 问答类看准确率，对应 R-U-B 三维的细化）、人工筛选不可省（AI 生成的题目大概率有偏差，对应本计分板”PM 必须是第一代高级标注员”原则）。作者把”会不会做 AI 评测”列为 AI PM 求职市场上区分度最高的硬技能，与本计分板”PM 评估能力是职业护城河”完全同源。两篇构成”评估计分板（企业级体系）+ AI 竞品分析（PM 个人方法论）“的完整双视角。
-
2026-05-18-woshipm-ai-product-prd：把评估计分板的思想前移到 PRD 阶段。青钰 / CyberHuck 的医药翻译 Agent 按错误代价反推评测权重：准确性 40%、安全性 30%、专业度 20%、有用性 10%，其中安全性因不可逆风险设置 0 分一票否决。这与本页 Golden Set 的红线池同源——业务生死线不能被总体平均分掩盖。文章还把 Bad Case 池写入 PRD：错误样本、错误类型、根因、修复方案、5+ 条历史 case 回归验证、关联 case 和状态形成“归档→归因→修复→验证→沉淀”闭环，累计 47 条 Bad Case、闭环修复 43 条、闭环率 91.5%。这说明 AI 评估不是开发后测试环节，而是产品定义的一部分。
-
2026-05-18-woshipm-ai-pm-interview-2-questions：把评估计分板能力压缩进 AI PM 面试场景。作者给出的智能客服”四层防火墙”不是单纯技术方案，而是一套可评测的产品治理闭环：边界约束降低越界回答，RAG 知识库提高依据可靠性，人工审核错题本把 Bad Case 转成迭代素材，监控指标持续追踪幻觉率、用户投诉率、转人工率和满意度。文中案例从幻觉率 15% 降到 3% 以下、用户满意度提升 25%，说明 AI PM 在面试中不能只说”用 RAG/微调”，还要能定义什么指标证明方案真的有效。这与本页”好由 PM 定义而非算法定义”的原则一致。
-
2026-05-26-woshipm-ai-pm-core-knowledge：一亮AI 把评估计分板定位为 AI PM 四大核心能力的底座，并贡献了可直接用于团队沟通的”实战话术”模板。文章强调 Assessment 思维要从功能思维中独立出来——很多团队”会做功能”但不会”做评估系统”，导致算法指标和业务指标脱节。与已有 Golden Set + R-U-B 框架互补的新视角包括：（1）Context Window 应作为预算管理而非越大越好，AI PM 需做上下文管理；（2）Hallucination 是概率模型的系统性风险而非偶发事故，产品层必须做前置拦截+异常兜底+结果追溯；（3）Formatting Guardrails（JSON Schema/函数调用）是涉及流程编排和数据库写入场景的工程生命线；（4）Tokenomics 和 Model Routing——AI 产品”上线后每次点击都在花钱”，强模型做高认知复杂任务、轻模型做抽取分类校验、规则引擎做确定性流程，可执行目标是 3-6 周把单次有效生成成本压降 30%-50%。
-
2026-05-28-woshipm-bleu-rouge-evaluation：为了罐罐从 AI PM 入门视角解释 BLEU 和 ROUGE 两个传统 NLP 评估指标的定义、适用场景与核心局限，回答了”为什么不能只看 BLEU/ROUGE”这个前置问题。核心观点是 BLEU 衡量”生成内容精确度”（适合翻译/标准话术），ROUGE 衡量”关键信息召回率”（适合摘要/纪要/文档提炼），但两者都只能覆盖用户体验的一个维度。与评估计分板的关系是”基础指标认知→完整体系构建”的递进——BLEU/ROUGE 是传统 NLP 时代的”基础体检项”，R-U-B 三维模型是大模型产品时代需要的”完整诊断”。文章还提出了三个补充视角：（1）参考答案质量不稳定会污染指标可信度（对应 Golden Set “PM 必须是第一代高级标注员”原则）；（2）按任务类型选择指标的决策树（翻译→BLEU，摘要→ROUGE，开放式问答→人工评分+事实一致性+引用准确率+任务完成率）；（3）评测集必须来自高频问题/投诉问题/边界问题/高风险场景（对应 Golden Set 的”脏数据”原则和活水池机制）。
-
2026-06-09-ai-pm-test-set-design：Tuer AI 以智能购车问答为垂直场景，从 0 到 1 搭建 AI 产品测试集的实战复盘。本文是评估计分板方法论在单业务线的工程化落地——作者把评估计分板的 Golden Set 四阶生命周期映射为购车场景的”七类决策链路覆盖”（基础知识/价格权益/决策辅助/对比/流程服务/边界/幻觉高风险），把 R-U-B 三维指标映射为”五维评测体系”（准确性/召回完整性/相关性/可用性/幻觉控制），并提出核心集/扩展集/Bad Case 集/幻觉集/上线验收集的五级分层管理，与 Golden Set 的基础池/陷阱池/红线池/活水池一一对应。新增三个实操验证：（1）模型选型反直觉案例——通用对话评测 A 模型分数更高但业务测试集显示 A 在价格权益类幻觉率高出 B 近一倍，直接验证了评估计分板”公开评测集的温柔乡”判断；（2）Prompt 优化回归风险——加了”准确”二字后核心用例通过率提升但幻觉专项测试集退化，说明测试集必须覆盖全链路回归而非只看主指标；（3）团队协作破局——研发从”PM 为什么管评测”到”主动要求每次 Prompt 变更必须跑完整测试集”的转变，触发点是回归测试发现模型编造不存在的置换补贴（虚假宣传法律风险），验证了评估计分板”红线池一票否决”在团队协作中的推动力。核心论点”测试集是 AI PM 从感觉判断走向工程化思维的第一步”与评估计分板”PM 评估能力是职业护城河”完全同源。
实用信息
-
快速上手步骤：
- 从线上日志中挖掘真实”刺头问题”（脏数据），构建Golden Set四阶池（基础池60%+陷阱池+红线池+活水池）
- 按R-U-B三维搭建指标看板：R维度量化结果确定性，U维度量化交互体验，B维度挂钩商业损益
- 在 PRD 阶段写清每个维度的权重和红线：按错误代价的不可逆程度反推，不要等上线后再补评测口径
- 引入更强模型做裁判（LLM-as-a-Judge），将标注SOP翻译为Meta-Prompt，实现80%自动化评测
-
常用提示词/命令：见素材摘要页的”裁判Prompt结构拆解示例”，包含角色设定、任务描述、四维打分规则（事实准确性/情绪安抚度/行动引导性/红线规则）和JSON输出格式要求
-
注意事项/避坑指南：
- Golden Set中标准正向数据绝不能超过60%，否则评估永远是温室高分
- 红线池的容错率必须是0，没有任何”整体正确率”可以讨价还价
- 不要用线上业务模型评测自己，它会有盲目的自信
- LLM-as-a-Judge不是彻底甩手，20%边界问题必须人类PM介入
- 标注SOP的颗粒度必须极细——“结论对不对”不够，还要拆解”推理过程是否符合业务SOP”
- Tokenomics：AI 产品上线后每次点击都在花钱，PM 必须掌握输入/输出 token 成本、长上下文成本、并发压力和功能级 ROI。用 Model Routing 做成本效果平衡——强模型做高认知复杂任务、轻模型做抽取分类校验、规则引擎/代码做确定性流程，配合积分机制限制无效重试
-
实战话术模板（来自 2026-05-26-woshipm-ai-pm-core-knowledge，可直接用于跨部门沟通）：
- 技术边界：「我不追求模型神话般准确率，而是用格式强约束和任务拆解做 Fail Fast」
- R-U-B 评估：「我们不再单看算法准确率，而是用 R-U-B 看板统一目标——先守红线，再提体验，最后看商业增量」
- 商业测算：「我们把高复杂推理路由到强模型，抽取与校验路由到轻模型和规则引擎，并用积分机制限制无效重试」