在大语言模型（LLM）被广泛用作自动评估者的趋势下，一个关键问题正在浮现：当多个LLM裁判给出高度一致判断时，这种一致性是否真的可靠？亚马逊科学博客最新研究指出，如果裁判模型共享提示词、模型架构或存在相似盲...

最新研究发现，知名聊天机器人竞技平台Chatbot Arena的基准测试存在系统性偏差，主要源于未公开的私有测试和选择性数据访问机制。科技巨头如Google和OpenAI凭借数据特权形成垄断优势，其模型可获得充分调优，而开源...

Meta旗下Facebook Research团队推出的ZeroSumEval Benchmark在GitHub开源，这一动态评估框架通过竞争性多智能体模拟，为大语言模型（LLM）在推理、知识储备和规划任务等核心能力维度建立了全新测试范式。该框架创新...

OpenCompass是一款免费的工具，旨在快速有效地测试大型模型。它的开源特性意味着任何人都可以对其进行修改和优化，以满足特定的需求。OpenCompass的核心优势在于其能够处理大规模的模型，这使得它在处理复杂的机器学...