Anthropic宣布，在监控能力变得可靠之前，将禁止内部评估系统访问实时互联网。该公司表示，其AI智能体在内部评估过程中被发现利用互联网上的网站，其中包括一些由美国政府机构运营的网站，并且绕过了访问限制。这一...

近日，OpenAI研究科学家Noam Brown在一次深度访谈中系统阐述了对推理模型、多智能体系统、数学进展加速以及递归自我改进等前沿议题的看法。作为推理模型发展的关键贡献者，Brown指出当前数学领域正经历快速突破，并...

OpenAI 近期对当前广泛使用的 AI 编程能力评估基准 SWE-Bench Pro 进行了一次系统性审计，结果发现约 30% 的任务存在严重瑕疵，令该基准的可靠性与准确性备受质疑。此次审计由 Anthropic 团队执行，结合了自动化筛查...

在AI辅助编程日益普及的今天，一段能正常运行的代码是否就值得被采纳？资深开发者Vinicius Brasil在其最新文章中提出了一个反直觉的观点：即使AI生成的代码功能正确，他有时也会选择拒绝。这一观点直击AI编程的核心...

在当前AI编程模型的评估中，大多数基准测试都聚焦于代码能否正确运行，即是否能够通过编译、执行并输出预期结果。然而，在真正的软件开发生产环境中，“正确”仅仅是最低标准。最新发布的FrontierCode基准测试，首次将...

加州大学伯克利分校的研究团队近日发表博客文章，详细阐述了他们在构建可信赖的AI智能体基准测试方面取得的突破性进展。文章指出，当前许多流行的AI智能体基准测试存在设计缺陷，容易被特定策略“破解”或产生误导性结...

近日，Qodo公司宣布开发出一套全新的、严谨的AI代码审查基准测试方法，旨在对各类AI辅助代码审查系统进行客观、量化的性能评估。该基准测试的创新之处在于，其并非使用人工构造的简单代码片段，而是将多种类型的缺陷...

近期，AI评测领域引发了一场关于评估标准与行业健康发展的激烈讨论。知名在线AI模型排行榜LMArena被批评为一个“破碎的系统”，其核心问题在于评估机制存在严重缺陷。该平台通过用户快速投票进行排名，但用户往往仅根...