漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

Cognition推出新一代AI编程基准FrontierCode 2.0。该基准在延续FrontierCode 1.0方法论的基础上,扩大了任务来源与类别覆盖,并引入更高合并性标准,使评估更贴近真实软件工程场景。新版允许“令人惊讶但可接受”的行为,意味着模型在解决复杂任务时拥有更灵活的判定空间。评分标准对正确性与设计提出了更全面要求,参考解决方案平均修改文件数较上一版增加67%,修改代码行数增加89%,所涉代码库规模扩大25%。这些变化表明FrontierCode 2.0正在提高对AI编程智能体长程修改、跨文件协同和工程实现能力的考察,为前沿模型能力比较提供更具区分度的基准。

核心要点

  • FrontierCode 2.0扩展了任务来源与类别,并提高合并性标准,更贴近真实开发场景。
  • 新版允许令人惊讶但可接受的结果,评分对正确性和设计提出更全面要求。
  • 参考方案修改文件数增加67%、代码行数增加89%,代码库扩大25%,任务难度显著提升。

Read more >