研究人员近日推出名为SpatialScore的多模态基准测试套件，专门用于评估大型模型在3D空间理解方面的能力。这一创新性基准整合了来自12个不同数据集的28,000个样本，为衡量AI系统的空间推理性能提供了全面且标准化的评...

集体智慧项目（CIP）最新研究指出，当大语言模型（LLM）被应用于敏感领域的决策判断时，即便采用常见的提示工程方法，其裁决仍表现出不可预测的隐藏测量偏差，导致结果不可靠。研究发现，位置偏好、顺序效应和提示敏...

由François Chollet和ARC Prize团队推出的ARC-AGI-2基准测试，作为抽象推理领域的新一代评估标准，其难度较前代显著提升。初步测试结果显示，即便是最先进的AI系统也表现不佳，其中o3模型仅获得3%的准确率，远低于原...

OpenAI近日发布了名为HealthBench的创新评估框架，旨在为人工智能系统在人类健康领域的应用设定新的基准。这一工具不仅关注AI的技术性能，更着重评估其对人类健康产生的实际影响，标志着AI伦理和实用性评估的重要进...

Meta旗下Facebook Research团队推出的ZeroSumEval Benchmark在GitHub开源，这一动态评估框架通过竞争性多智能体模拟，为大语言模型（LLM）在推理、知识储备和规划任务等核心能力维度建立了全新测试范式。该框架创新...

近日，EmbodiedEval作为一种全面且交互式的基准测试工具正式亮相，旨在评估多模态大语言模型（MLLMs）在具身任务中的表现。具身任务是指模型需要在物理环境中执行具体操作的任务，这对模型的感知、推理和执行能力提...

近日，MTU-Bench作为一种全新的基准测试工具正式发布，旨在评估大型语言模型（LLMs）在不同场景下的工具使用能力。该基准测试通过多样化的任务设计，全面衡量LLMs在实际应用中的表现，特别是在复杂任务中调用外部工...

近期，随着人工智能技术的不断发展，特别是大型语言模型(Large Language Models, LLM)在特定任务中的应用变得越来越广泛。LLM以其强大的处理能力，能够针对不同的任务进行相应的学习和优化。然而，针对特定任务进行...