OpenAI 近期对当前广泛使用的 AI 编程能力评估基准 SWE-Bench Pro 进行了一次系统性审计，结果发现约 30% 的任务存在严重瑕疵，令该基准的可靠性与准确性备受质疑。此次审计由 Anthropic 团队执行，结合了自动化筛查...

在AI辅助编程日益普及的今天，一段能正常运行的代码是否就值得被采纳？资深开发者Vinicius Brasil在其最新文章中提出了一个反直觉的观点：即使AI生成的代码功能正确，他有时也会选择拒绝。这一观点直击AI编程的核心...

在当前AI编程模型的评估中，大多数基准测试都聚焦于代码能否正确运行，即是否能够通过编译、执行并输出预期结果。然而，在真正的软件开发生产环境中，“正确”仅仅是最低标准。最新发布的FrontierCode基准测试，首次将...

加州大学伯克利分校的研究团队近日发表博客文章，详细阐述了他们在构建可信赖的AI智能体基准测试方面取得的突破性进展。文章指出，当前许多流行的AI智能体基准测试存在设计缺陷，容易被特定策略“破解”或产生误导性结...

近日，Qodo公司宣布开发出一套全新的、严谨的AI代码审查基准测试方法，旨在对各类AI辅助代码审查系统进行客观、量化的性能评估。该基准测试的创新之处在于，其并非使用人工构造的简单代码片段，而是将多种类型的缺陷...

近期，AI评测领域引发了一场关于评估标准与行业健康发展的激烈讨论。知名在线AI模型排行榜LMArena被批评为一个“破碎的系统”，其核心问题在于评估机制存在严重缺陷。该平台通过用户快速投票进行排名，但用户往往仅根...

谷歌近日正式向开发者开放了其强大的Gemini深度研究（Gemini Deep Research）功能，通过全新的交互API（Interactions API）提供服务。这一举措标志着AI在复杂信息处理与综合能力方面迈出了重要一步。Gemini深度研究...

人工智能研究机构Cline近日发布开源项目cline-bench，旨在构建源自真实开源开发场景的高保真度基准测试与强化学习环境。当前AI模型在代码生成领域虽取得显著进展，但业界始终缺乏能够准确反映实际工程约束的标准化评...