近日，一项利用注意力图量化视觉模型内部偏差的新指标在GitHub上开源。该技术通过分析模型在识别过程中的注意力分布，能够有效识别出导致偏差的混淆特征，突破了传统基于群体准确率差异的评估局限。这项名为Attentio...

近期，随着人工智能技术的不断发展，特别是大型语言模型(Large Language Models, LLM)在特定任务中的应用变得越来越广泛。LLM以其强大的处理能力，能够针对不同的任务进行相应的学习和优化。然而，针对特定任务进行...

评估语言模型一直以来都是一个复杂的任务，尤其是在大多数评估细节都只存在于大型公司内部的情况下。这篇论文展示了一套可重复且强大的评估标准，为研究人员提供了一个实用的框架。论文中包括了对困惑度评估的详细讨...

MathBench是一项旨在全面评估大语言模型数学能力的新基准。这一基准的设计初衷是为了填补当前评估工具在数学领域的空白，提供一个更加系统化和科学化的评估方法。MathBench不仅涵盖了基础数学运算，还包括高级数学理...

近期，关于如何扩展语言模型的语境的讨论引起了业界的关注。这次讨论并未提供太多的评估方法，但却对语言模型领域的探索方向提供了深度剖析。语言模型的语境是机器学习和自然语言处理中的关键组成部分，对于提高模型...

评估训练编程语言模型的性能是一个具有挑战性的任务。大多数人使用OpenAI的HumanEval。然而，一些开放的模型似乎会过度拟合到这个基准。LiveCodeBench是一种测量编程性能的方法，同时减轻污染问题。

HuggingFace发布了一个轻量级的评估库lighteval，用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标，帮助用户快速准确地评估模型性能。同时，lighteval还提供了丰富的...

持续学习是一种机器学习技术，它可以在不断适应新数据的同时保留以前的知识。近年来，随着机器学习技术的不断发展，持续学习技术也得到了越来越多的关注。本文对持续学习的最新进展进行了详细的调查，包括其定义、挑...