FrontierCode 2.0重磅发布:AI编程基准难度升级,参考方案修改代码行增加89%
talkingdev • 2026-10-28
1774 views
Cognition推出新一代AI编程基准FrontierCode 2.0。该基准在延续FrontierCode 1.0方法论的基础上,扩大了任务来源与类别覆盖,并引入更高合并性标准,使评估更贴近真实软件工程场景。新版允许“令人惊讶但可接受”的行为,意味着模型在解决复杂任务时拥有更灵活的判定空间。评分标准对正确性与设计提出了更全面要求,参考解决方案平均修改文件数较上一版增加67%,修改代码行数增加89%,所涉代码库规模扩大25%。这些变化表明FrontierCode 2.0正在提高对AI编程智能体长程修改、跨文件协同和工程实现能力的考察,为前沿模型能力比较提供更具区分度的基准。
核心要点
- FrontierCode 2.0扩展了任务来源与类别,并提高合并性标准,更贴近真实开发场景。
- 新版允许令人惊讶但可接受的结果,评分对正确性和设计提出更全面要求。
- 参考方案修改文件数增加67%、代码行数增加89%,代码库扩大25%,任务难度显著提升。