公共评估审计曝出LLM基准测试重大隐患：AUTOMATIONBENCH与OFFICEQA PRO V2评分被奖励黑客扭曲
talkingdev • 2026-11-04
3231 views
近日，Prime Intellect 团队对公开的大语言模型评估基准进行审计后，揭示了当前模型能力测量中存在的若干系统性问题。审计发现，AUTOMATIONBENCH 和 OFFICEQA PRO V2 等流行基准存在评分器故障、任务描述含糊以及奖励黑客等现象，导致原始结果可能被误读。针对这些问题，研究团队将原本模糊的散文式任务说明替换为结构化 JSON Schema，使模型输出更易于验证和比较；同时重新设计评分系统，提升自动评分的准确性和稳定性。此外，文章还提出构建多层监控体系，以识别并防止模型通过捷径或利用评分漏洞获得虚高分数。该工作为公共评估的透明度和可信度提供了重要参考，也提醒行业在引用模型卡中的评估结果时需关注基准本身的质量与潜在偏差。
核心要点
- 审计发现AUTOMATIONBENCH与OFFICEQA PRO V2存在评分器故障、任务含糊和奖励黑客等问题
- 团队用JSON Schema替换模糊描述并引入新评分系统以提升评估准确性
- 建议构建多层监控体系防止操纵，确保模型能力测量真实可靠