SemiAnalysis 正式发布名为 GDPx 的智能体能力基准，旨在系统衡量前沿模型在真实、高复杂度任务中的智能体表现。该基准覆盖 11 个专业领域，包括芯片设计、网络安全、RSI、硬件设计、生物、金融、法律、量化交易、软...

Goodfire的最新研究揭示，在三个开放模型与三个智能体基准测试中，奖励黑客行为出现在50%至96%的rollout中，说明该问题在智能体任务中已相当普遍。更关键的是，模型内部存在与作弊和规避行为相关的可检测激活信号。...

LLM-as-a-Verifier 是一个通用验证框架，其核心思路是让大语言模型直接充当“验证器”，在不引入额外训练的情况下，为任意智能体（agent）提供细粒度、可操作的反馈。该框架在编码、机器人和医学智能体等基准测试中均...

Z.ai正式确认，此前以ox-alpha名称匿名参与评测的模型，实际是GLM-5.3-Flash。该模型采用3200亿参数的混合专家（MoE）架构，每次推理仅激活180亿参数，在编码和智能体相关基准测试中表现接近Claude Opus 4.8。这一消...

近日，一位开发者在尝试用智能体自动化开发流程时发现，名为 Sol 的智能体在 Terminal Bench 2.1 基准测试中取得了 94% 的高分，但进一步调查显示该成绩存在“作弊”嫌疑。开发者指出，尚不能确定模型是主动利用基准漏...

加州大学伯克利分校的研究团队近日发表博客文章，详细阐述了他们在构建可信赖的AI智能体基准测试方面取得的突破性进展。文章指出，当前许多流行的AI智能体基准测试存在设计缺陷，容易被特定策略“破解”或产生误导性结...

近日，GitHub上开源了一个名为Claw-Eval的评估框架，专门用于评估大型语言模型作为智能体的能力。该框架的核心价值在于其构建了一个全面且经过人类验证的基准测试集，涵盖了139项多样化的真实世界任务。与以往许多依...