AI基准测试是否讲全了故事？[赞助内容]（Andrew Gordon 和 Nora Petrova - Prolific）

摘要

• 技术排行榜上的领先地位，是产品质量的弱代理指标。 Andrew Gordon 将高分模型比作 Formula One 赛车：它们是工程学的巅峰，却可能成为日常使用的“绝对噩梦”。在 Humanity’s Last Exam 或 MMLU 上夺冠，可能同时伴随较差的信任、沟通、适应性或个性表现。技术基准通常评估固定测试，不把人类置于回路中。
• 基准测试披露过于零散，难以进行清晰的竞争比较。 各家实验室强调不同测试，甚至完全不发布基准数据；Grok 4 的宣传重点就是 Humanity’s Last Exam。Andrew 的核心警告是：“如果你只是依赖这些技术指标，就会错过一半重点”（“If you just rely on those technical metrics, you miss half the point."）。
• 随着人们把敏感的个人问题交给模型，安全正成为一项尚未被充分衡量的重大产品风险。 Nora Petrova 称心理健康和人生建议场景“目前仍是蛮荒西部”（“Wild West at the moment”），并以 Grok 3 和 Mecha Hitler 为例，质疑“这些模型之上的安全训练究竟只是多薄的一层表面保护”。
• Chatbot Arena 可能奖励的是测试资源优势，而不只是用户偏好。 在 Llama 4 发布前，Andrew 称 Meta 曾向 Arena 发布27个模型，但最终只有1个被报告；更高的曝光量会带来更多提示词和优化数据。他还指出，战斗次数与排行榜位置之间存在“相当强的关系”。
• 匿名二元投票带来了规模，却几乎没有可执行的产品洞察。 只知道用户偏好哪个答案，并不能知道用户是谁、为何投票——因此，除了排名之外，这些数据“在某种意义上毫无用处”，也无法诊断信任、帮助性、沟通、适应性或个性表现。
• Prolific 的 HUMANE 排行榜，以受控且具代表性的评估取代不受限制的流量。 它从美国500人的概念验证发展为模型对战、结构化多步对话和质量控制——“三次这样，你就出局”（“three of those and you’re out”）——参与者抽样则按美国和英国人口普查人口结构分层。
• 早期产品差距在于个性，而非基本效用。 在6个头部模型中，用户对个性以及对背景和文化的理解评分低于帮助性、沟通和适应性。原因仍不确定，但 Nora 指出模型的谄媚倾向正在上升：“人们总体上似乎并不喜欢这一点”（“People generally don’t seem to like it.”）。

精读

1. 技术卓越，仍可能造出糟糕的日常主力产品

• Andrew 的框架是：Formula One 赛车是“工程学的绝对巅峰”，却并不适合日常通勤；同样，在 Humanity’s Last Exam 或 MMLU 上表现出色的模型，可能“日常使用起来简直是噩梦”。
• Andrew 指出，大多数技术报告只是让模型完成固定评估，给出一个分数，过程中没有人类参与。各家实验室披露的证据也不统一——Grok 4 强调 Humanity’s Last Exam，而有些发布则完全没有基准数据——因此不存在标准化的竞争场。结论是：技术分数只反映了面向人类的产品一半表现。

2. 敏感场景的使用已经跑在安全衡量之前

• Nora 认为，人们越来越多地向模型寻求心理健康和人生建议，却没有获得其他场景通常要求的监督与伦理操守。Grok 3 和 Mecha Hitler 让人不得不追问：“这些模型之上的安全训练究竟只是多薄的一层表面保护”（“how thin a veneer the safety training is on top of some of these models”）。
• Andrew 直指缺口：“安全没有排行榜”（“There is no leaderboard for safety.”）。他认为，安全的重要性应当不亚于模型的速度或智力。
• Nora 提到 Anthropic 的 Constitutional AI 工作和机械可解释性——追踪被激活的特征、概念与回路——是针对新型场景建立信心的重要路径。

3. Chatbot Arena 的规模掩盖了结构性偏差

• Andrew 最尖锐的诚信担忧是：据称在 Llama 4 发布前，Meta 曾向 Arena 发布27个模型，但最终只有1个被报告。更多比较意味着更多提示词访问和优化数据，可能让模型专门变得“更擅长 Arena”。
• Arena 团队曾将抽样不均归因于用户追逐最新、最先进的模型。Andrew 认为，这会导致采样低效：部分模型获得的对战次数远多于其他模型，而他观察到战斗次数与排行榜位置之间存在“相当强的关系”。
• Arena 参与者是匿名的，没有人口统计数据，二元偏好也无法揭示投票原因。这会产生一个看起来很有吸引力的排名，却几乎无法说明模型究竟在哪些方面失分——是信任、个性，还是沟通。
• 提示词质量同样不受控制：用户可以什么都不提交，可以只说你好，也可以从“太阳有多大”跳到“蛇有多长”，削弱了细致比较的价值。

4. HUMANE 让每场模型对战都必须产生信息

• Prolific 最初的 Prolific User Experience Leaderboard 使用500名具代表性的美国参与者，并采用1至7分的 Likert 量表。如今的 HUMANE 使用比较式对战、多步对话、分项偏好指标，并对低投入或跑题提示词进行惩罚：“三次这样，你就出局”（“Three of those and you’re out.”）。
• Nora 解释称，HUMANE 采用 Microsoft Xbox Live 的 TrueSkill 框架。随着证据累积，贝叶斯估计会逐步收窄；系统则按照信息增益选择配对，只在最能快速降低不确定性的地方安排对战。

5. 具代表性的偏好暴露了模型更柔性的短板

• Prolific 根据美国和英国人口普查数据对参与者分层，变量包括年龄、族裔和政治立场。围绕约20个不同人口群体分别进行的竞赛，可以合并结果，也可以加入更多群体和模型，或延长运行时间，直到达到目标置信区间。
• 在首项6模型研究中，个性以及背景与文化理解的评分落后于帮助性、沟通和适应性。Andrew 没有预设解释：任务可能没有 eliciting 出个性，模型可能缺乏用户上下文，也可能训练数据根本没有生成符合用户期待的个性。
• Nora 表示，数据集将检验的一个问题是：可检测的谄媚倾向，是否与个性维度上的负面投票相关。分析可以把人类反馈与面向 LLM-as-a-judge 的对话模式分类结合起来。HUMANE 竞赛当时仍在累积对战数据，因此这仍是开放问题，而非已经确定的结论。