人工智能基准测试已从单纯的评估工具，逐渐演变为影响模型训练目标和能力设计的关键力量。Contrary Research 的最新报告指出，构建不当的基准测试可能把整个行业推向错误方向。随着模型越来越针对榜单表现进行优化，...

评估AI智能体远不止验证单次工具调用是否合法。NVIDIA技术博客指出，步骤级评分能够帮助团队定位具体失败环节，而端到端评分则验证真实环境是否达到预期状态。该框架强调，生产级评估应同时报告一致性、步骤数量和成...

在大语言模型（LLM）被广泛用作自动评估者的趋势下，一个关键问题正在浮现：当多个LLM裁判给出高度一致判断时，这种一致性是否真的可靠？亚马逊科学博客最新研究指出，如果裁判模型共享提示词、模型架构或存在相似盲...

大语言模型从实验环境走向生产环境时，评估体系往往面临根本性转变。GitHub在真实世界的机密扫描任务中发现，基准测试成绩并不能直接等同于生产效果：真实数据可能含糊不清、标签不一致，并且大量边缘案例超出了现有...

Meta旗下超级智能实验室正式推出Muse Glimmer，一个拥有300亿参数的开源智能体模型，采用Apache 2.0许可证。该模型专为消费级硬件上的常驻本地工作流优化，重点面向编程、函数调用和模型评估等场景，并展现出强大的...

一项针对60个广泛使用的大语言模型基准的系统性研究发现，其中29个已经达到饱和状态，意味着当前顶尖模型在这些测试上的表现已无统计学上的显著差异，无法有效区分模型能力。研究指出，基准测试的年龄和测试集规模是...

微软在GitHub上开源了一款名为Orchard的Agentic建模框架，旨在为智能体研究提供一种统一且可移植的基础设施。Orchard的核心是一个轻量级的、Kubernetes原生的环境服务，它向上层暴露了一套通用的原语，且不对上层的...

在大语言模型竞争日益激烈的当下，如何科学、标准化地衡量不同规模模型的能力上限正成为一个核心议题。Prime Radiant公司近日开源的smevals评估框架正是瞄准了这一痛点，它提供了一套轻量且专为小模型和大模型运行基...