Base Labs正式推出Mammoth-1和Elephant-1两款决策模型，聚焦前沿决策智能与开源生态建设。官方信息显示，这两款模型在Jev Decision Index和Artificial Analysis Decision Index等基准测试中处于领先位置，展现出面向...

人工智能基准测试已从单纯的评估工具，逐渐演变为影响模型训练目标和能力设计的关键力量。Contrary Research 的最新报告指出，构建不当的基准测试可能把整个行业推向错误方向。随着模型越来越针对榜单表现进行优化，...

AI基准测试机构Vals AI的最新分析显示，开源权重模型在执行多阶段任务时，其环境代价可能远超简单查询。以构建一个Web应用为例，这类复杂任务涉及多轮推理、代码生成、工具调用与验证等步骤，模型需要消耗的能源或水...

Opus 5在与前代模型对比中暴露出一个值得关注的问题：它需要更多人工监督，且在模糊场景下不再主动追问澄清，导致真实任务中的协作效率下降。分析认为，这一变化并非单纯的能力退化，而是当前AI系统开发过度以基准测...

一项针对60个广泛使用的大语言模型基准的系统性研究发现，其中29个已经达到饱和状态，意味着当前顶尖模型在这些测试上的表现已无统计学上的显著差异，无法有效区分模型能力。研究指出，基准测试的年龄和测试集规模是...

在大型语言模型（LLM）驱动的AI智能体日益普及的今天，如何可靠地评估其在长时间、多步骤任务中的实际生产力，仍是行业面临的核心挑战。GitHub上最新发布的开源项目LHTB（Long-Horizon Terminal Benchmark）正试图填...

近期发布的Basecamp Bench基准测试，对GPT-5.6 Sol、Fable 5和Grok 4.5三款前沿大模型在复杂软件工程任务中的表现进行了横向比较。测试聚焦于全栈开发场景，从代理能力、生成成本与输出质量三个维度进行评测。结果显...

近日，一项名为ProgramBench的新型基准测试引发了人工智能和软件工程领域的广泛关注。该测试旨在评估AI智能体（Agent）在没有源代码的情况下，仅通过阅读文档和进行实验，从零开始逆向构建软件可执行文件的能力。Pro...