AI基准测试机构Vals AI的最新分析显示，开源权重模型在执行多阶段任务时，其环境代价可能远超简单查询。以构建一个Web应用为例，这类复杂任务涉及多轮推理、代码生成、工具调用与验证等步骤，模型需要消耗的能源或水...

Opus 5在与前代模型对比中暴露出一个值得关注的问题：它需要更多人工监督，且在模糊场景下不再主动追问澄清，导致真实任务中的协作效率下降。分析认为，这一变化并非单纯的能力退化，而是当前AI系统开发过度以基准测...

一项针对60个广泛使用的大语言模型基准的系统性研究发现，其中29个已经达到饱和状态，意味着当前顶尖模型在这些测试上的表现已无统计学上的显著差异，无法有效区分模型能力。研究指出，基准测试的年龄和测试集规模是...

在大型语言模型（LLM）驱动的AI智能体日益普及的今天，如何可靠地评估其在长时间、多步骤任务中的实际生产力，仍是行业面临的核心挑战。GitHub上最新发布的开源项目LHTB（Long-Horizon Terminal Benchmark）正试图填...

近期发布的Basecamp Bench基准测试，对GPT-5.6 Sol、Fable 5和Grok 4.5三款前沿大模型在复杂软件工程任务中的表现进行了横向比较。测试聚焦于全栈开发场景，从代理能力、生成成本与输出质量三个维度进行评测。结果显...

近日，一项名为ProgramBench的新型基准测试引发了人工智能和软件工程领域的广泛关注。该测试旨在评估AI智能体（Agent）在没有源代码的情况下，仅通过阅读文档和进行实验，从零开始逆向构建软件可执行文件的能力。Pro...

Meta（原Facebook）旗下研究团队近日在GitHub开源了AIRS-Bench基准测试框架，旨在系统性地量化大型语言模型（LLM）代理在真实世界人工智能研究任务中的端到端能力。该基准包含20个精心设计的机器学习研究任务，每个...

在人工智能领域，基准测试分数已成为衡量模型性能和市场宣传的核心指标，但其解读却普遍存在误区。当前行业叙事往往暗示模型智能水平呈现普遍性提升，然而单一的基准分数可能具有误导性，无法全面反映模型在真实、复...