AI助手答错了，先检查测试题：Google Cloud的评测启示

2026年7月10日，Google Cloud发表Who evaluates the evaluations?，讨论如何改变问题中的有效信息，观察数据代理的能力边界，并检查评测本身的缺陷。下面把这个思路用于中文产品资料问答；示例与数字均为演示，非本站模型实测。资料于9月21日复核。

原文为什么要检查“出题的人”

原文介绍的Discovery Bench通过调整具有区分作用的词，生成不同歧义程度的题目。一个熟悉术语可能直接指向目标数据集；去掉它，代理就需要在更多相似对象中判断。作者还发现，团队使用的一些题目存在目标数据不匹配、日期不明确等问题。

对企业问答，同样的现象很常见。产品经理写“X2 Pro海外版的适配器输入范围”，新客户只问“这个带去英国能用吗”。前者给足型号与版本，后者可能连产品是哪一款都没说。只测第一种问法，即使分数很好，也无法说明真实咨询能顺利完成。

但删掉条件以后，评分标准也需要跟着变。缺少足够信息时，合理结果可能是追问，而不是硬猜出题人心里的型号。早于这次文章的AmbigQA研究也把问题的多种合理解释作为研究对象；它发表于2020年，并非此次推出的新功能。

用一道题，把资料、检索和回答拆开

假设团队有三份资料：X2旧版说明书、X2 Pro新版说明书，以及英国销售套装清单。客户问“X2 Pro在英国能直接用吗？”

如果新说明书只说明主机供电要求，套装清单才说明是否附带对应电源及插头，答案就需要联合核对。只找到主机手册，即使引用完全准确，也未必足以回答“能直接用”。

检查位置	可能看到的情况	接下来应处理什么
测试题与标准答案	标准仍按旧套装写“直接使用”	更新题目依据和适用版本
检索资料	找到X2而非X2 Pro	改型号标识、资料整理或检索条件
证据覆盖	找到主机手册，漏了销售套装清单	补齐这道题所需的资料集合
回答形成	两份资料都找到，却把选配说成标配	修回答的条件保留与推理步骤
对话行为	用户未说购买套装，助手直接断言	让它先确认影响结论的缺失条件

这里“找到正确资料”不能只记成一个勾。一道问题需要两份证据时，命中其中一份和证据齐全是两种状态。 还要保留具体段落，防止模型拿同一文档中另一版本的条目作答。

整理NotebookLM等工具的测试材料时，可以先按资料来源与引用核查确认输入范围。引用存在，只说明你有了可回查的入口；评分者仍需要读那一段是否真的支持答案。

评分先写“必须保留的意思”，再写允许的表述

一题一条标准句，很容易把措辞差别当错误。对于上面的设备问题，评分表更适合这样写：必须确认型号及销售套装；依据对应版本说明供电条件；资料没说明附带配件时不能擅自承诺；缺少套装信息时应提出明确追问。

这不是要求每次回答都很长。若用户已给出完整配置和地区，助手还反复询问“请提供更多信息”，也应算对话质量问题。合理澄清要指出缺哪一项，而且这一项确实可能改变答案。

同样，“不确定，请咨询客服”不应自动得高分。资料中已有明确答案时，泛泛推给客服只是没有完成任务。可以把结果分成四类：充分回答、必要澄清、明确说明资料缺口、处理错误。前两类是否合格，取决于题目给了什么；第三类可以是正确行为，也暴露知识库覆盖不足。

同一任务做三个版本，观察哪里开始失效

不必一开始就建立庞大的题库。先选一个真实高频任务，保留条件完整、部分缺失和日常口语三个版本，再检查每个版本需要什么行为。

问法示例	题目状态	合理期待
“X2 Pro的英国套装B，按当前清单是否带适配电源？”	型号、市场、套装明确	查当前清单直接回答，保留条件
“X2 Pro能在英国直接用吗？”	套装不明确	说明需确认套装或电源配置
“这台带过去能用吗？”	产品和目的地不明确	先确认产品及目的地

接着再加一个相邻问题，例如“电源能用，插头是否仍需转换”。这样能检查模型有没有把相关但不同的问题混为一谈。实际判定必须用真实设备资料，不能把示例里的假设配置当操作建议。

如果测试的是检索模块，重点记录目标资料是否找到；如果测试的是完整客服流程，则还要看追问后能否接着回答。模型第一轮正确追问、第二轮收到信息却忘记前文，单轮评测可能会漏掉这个问题。

追问之后，还要把同一道题做完

给这道题补一个可评分的第二轮。以下资料、对话和评分都是编辑构造的测试样本，未运行模型；只演示资料一致性，不提供真实设备的用电判断。假设当前套装清单v2的B行写明“包含英国版电源组件”，A行写“电源组件另购”；旧版v1曾把B列为不包含，本轮应以已核实的v2为准。

第一轮用户：X2 Pro能在英国直接用吗？

合理追问：请确认购买的是A还是B套装，或提供包装清单，我需要据此核对随附电源。

第二轮用户：我买的是B，清单版本v2。

本例可接受的回答：按你提供的v2清单，B套装包含英国版电源组件；这里确认的是随附配置。具体连接与安全使用仍按对应型号的现行说明执行。

判读位置	可接受结果	失败时定位
第一轮缺少套装	明确问A/B或清单，不猜配置	条件不足却直接承诺，属于回答行为问题
第二轮已给B和v2	使用v2的B行，说明包含	仍用v1则查版本检索；读到v2却说另购则查回答形成
第二轮继续泛问型号	不应重复索取已经给出的信息	查会话信息是否传入下一轮及是否被保留
没有取得v2	指出无法核对当前清单	不能把猜对答案记成有证据的通过

运行记录要把两轮对话、实际检索片段及清单版本放在同一个案例ID下。修版本检索后，用这两轮重新跑，并复查一个原本能够正确回答的完整条件题。这样才能区分“找对资料”和“对话能继续完成”，不只统计第一轮是否说了请补充信息。

修了坏题，分数变高不等于模型进步

假设一组20题，某助手原先通过12题。审查发现其中4道失败题的标准答案已过期，暂时移出有效题集。原回答不变，统计就从12/20的60%变成12/16的75%。这是题集修正改变了分母，没有证明模型能力提高。

报告至少要同时交代原题数、撤出或修订题数、当前有效题数，以及使用的题集版本。比较两个模型时，要让它们在同一个有效版本上评分；不能拿模型A的旧分数与模型B清理题目后的分数直接比。

修题也不意味着从此删除所有难题。过期答案应更新，多解问题应重写可接受行为，真实但棘手的客户问题应保留。否则题库会逐渐只剩容易成功的题，表面分数越来越高，线上问题仍然没解决。

如果一项关键配置错误会使用户买错配件，不要让大量简单问候题的高分把它平均掉。可以按任务分别汇总：规格确认、套装选择、售后条件、信息不足时的追问。各组数量和错误内容比一个合并百分比更方便安排改进。

用回归记录决定改资料，还是改模型

先固定资料版本、工具权限、题集和评分规则。一次运行保存问题、检索到的片段、回答、评分理由；同一题出现不稳定答案时，保留重复运行结果，而不是只挑一次好答案。

多道题都误用旧手册，优先处理文档版本和检索。证据已经充分，回答却总遗漏同一条件，才更适合调整回答要求。若总在缺少关键条件时猜测，先修澄清行为。每次改一个主要因素，再重跑受影响题组以及一组原本正常的问题，避免修好这里、损坏那里。

让另一个AI作裁判可以减轻整理工作，但要给它明确规则和来源。Google的评测服务说明也提供围绕任务和评分准则开展评测的框架。工具能帮助执行规则，不能保证你写下的规则合理。

抽查时，优先看裁判与人工分歧大的题、判分变化大的题，以及资料冲突题。不要仅凭“回答专业完整”的评语通过一段错误参数。保留一组未参与提示词调试的问题，用它判断修改能否处理相似新问法。

一份有用的结果应能指出：“版本整理解决了旧手册误用，套装信息缺失时仍有直接猜测。”这句话告诉团队下一步改哪里。等资料、题目和规则稳定，再比较模型成本与响应时间，选择才有依据。相关方法可继续查看AI搜索与谷歌更新。