一项针对60个广泛使用的大语言模型基准的系统性研究发现，其中29个已经达到饱和状态，意味着当前顶尖模型在这些测试上的表现已无统计学上的显著差异，无法有效区分模型能力。研究指出，基准测试的年龄和测试集规模是...

人工智能安全公司Cogent推出了其最新的前沿网络推理模型VR-1，该模型经过专门的后训练，能够自主探查陌生企业环境、组合跨系统弱点，并通过实际执行验证攻击路径。VR-1的核心能力在于模拟真实攻击链：从有限初始访问...

在大型语言模型（LLM）驱动的AI智能体日益普及的今天，如何可靠地评估其在长时间、多步骤任务中的实际生产力，仍是行业面临的核心挑战。GitHub上最新发布的开源项目LHTB（Long-Horizon Terminal Benchmark）正试图填...

在人工智能领域，开放权重（open-weights）的大语言模型与闭源模型之间的性能差距一直是业界关注的焦点。近日，一项基于“人工分析基准”（Artificial Analysis benchmarks）的预测研究指出，到2026年12月3日，一款能...

QuestDB 在其最新的博文中深入探讨了数据库基准测试中常见的误导性问题。作为一款开源的高性能时序数据库，QuestDB 以超低延迟和高吞吐量著称。然而，其研究指出，基准测试结果极易受到测试方法的影响。例如，进程持...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...

加州大学伯克利分校的研究团队近日发表博客文章，详细阐述了他们在构建可信赖的AI智能体基准测试方面取得的突破性进展。文章指出，当前许多流行的AI智能体基准测试存在设计缺陷，容易被特定策略“破解”或产生误导性结...

本周，人工智能芯片制造商Cerebras Systems宣布完成约10亿美元的H轮融资，公司估值达到230亿美元。本轮融资由老虎环球基金领投，而知名风投机构Benchmark在此轮中投资了至少2.25亿美元。值得注意的是，Benchmark与Ce...