人工智能基准测试已从单纯的评估工具，逐渐演变为影响模型训练目标和能力设计的关键力量。Contrary Research 的最新报告指出，构建不当的基准测试可能把整个行业推向错误方向。随着模型越来越针对榜单表现进行优化，...

Real-SWE是一个面向软件工程智能体的新基准，它与常见的HumanEval或SWE-bench不同，不依赖公开数据集中可能被模型记忆的题目，而是从经过许可的私有生产代码库中选取10项真实任务。这些任务包含大量企业业务规则和公...

一项针对60个广泛使用的大语言模型基准的系统性研究发现，其中29个已经达到饱和状态，意味着当前顶尖模型在这些测试上的表现已无统计学上的显著差异，无法有效区分模型能力。研究指出，基准测试的年龄和测试集规模是...

人工智能安全公司Cogent推出了其最新的前沿网络推理模型VR-1，该模型经过专门的后训练，能够自主探查陌生企业环境、组合跨系统弱点，并通过实际执行验证攻击路径。VR-1的核心能力在于模拟真实攻击链：从有限初始访问...

在大型语言模型（LLM）驱动的AI智能体日益普及的今天，如何可靠地评估其在长时间、多步骤任务中的实际生产力，仍是行业面临的核心挑战。GitHub上最新发布的开源项目LHTB（Long-Horizon Terminal Benchmark）正试图填...

在人工智能领域，开放权重（open-weights）的大语言模型与闭源模型之间的性能差距一直是业界关注的焦点。近日，一项基于“人工分析基准”（Artificial Analysis benchmarks）的预测研究指出，到2026年12月3日，一款能...

QuestDB 在其最新的博文中深入探讨了数据库基准测试中常见的误导性问题。作为一款开源的高性能时序数据库，QuestDB 以超低延迟和高吞吐量著称。然而，其研究指出，基准测试结果极易受到测试方法的影响。例如，进程持...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...