漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-12-09 talkingdev

探究特定任务下的大型语言模型(Large Language Models, LLM)评估的有效性

近期,随着人工智能技术的不断发展,特别是大型语言模型(Large Language Models, LLM)在特定任务中的应用变得越来越广泛。LLM以其强大的处理能力,能够针对不同的任务进行相应的学习和优化。然而,针对特定任务进行...

Read More
2024-05-27 talkingdev

论文:语言模型可重复评估方法的新思路

评估语言模型一直以来都是一个复杂的任务,尤其是在大多数评估细节都只存在于大型公司内部的情况下。这篇论文展示了一套可重复且强大的评估标准,为研究人员提供了一个实用的框架。论文中包括了对困惑度评估的详细讨...

Read More
2024-05-23 talkingdev

MathBench:LLM的数学能力评估新基准

MathBench是一项旨在全面评估大语言模型数学能力的新基准。这一基准的设计初衷是为了填补当前评估工具在数学领域的空白,提供一个更加系统化和科学化的评估方法。MathBench不仅涵盖了基础数学运算,还包括高级数学理...

Read More
2024-05-10 talkingdev

Gemma 10M语境探讨:语言模型的延伸途径

近期,关于如何扩展语言模型的语境的讨论引起了业界的关注。这次讨论并未提供太多的评估方法,但却对语言模型领域的探索方向提供了深度剖析。语言模型的语境是机器学习和自然语言处理中的关键组成部分,对于提高模型...

Read More
2024-03-15 talkingdev

LiveCodeBench:对大型编程语言模型进行全面无污染的评估

评估训练编程语言模型的性能是一个具有挑战性的任务。大多数人使用OpenAI的HumanEval。然而,一些开放的模型似乎会过度拟合到这个基准。LiveCodeBench是一种测量编程性能的方法,同时减轻污染问题。

Read More
2024-02-12 talkingdev

HF开源轻量级评估库 lighteval

HuggingFace发布了一个轻量级的评估库lighteval,用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标,帮助用户快速准确地评估模型性能。同时,lighteval还提供了丰富的...

Read More
2024-02-01 talkingdev

持续学习:一份调查报告

持续学习是一种机器学习技术,它可以在不断适应新数据的同时保留以前的知识。近年来,随着机器学习技术的不断发展,持续学习技术也得到了越来越多的关注。本文对持续学习的最新进展进行了详细的调查,包括其定义、挑...

Read More
2024-01-26 talkingdev

生产环境中的LLM应用评估指标

本文讨论不依赖于基准数据的评估指标。文章探讨了通用的以及特定于RAG、聊天机器人和摘要的评估方法。所有指标都附带Python实现。

Read More
2024-01-21 talkingdev

LLM评估方法的局限性,需要更有效方法

本文探讨了评估LLM的挑战,将其与人类员工评估进行比较。文章讨论了衡量LLM智能和实用性的困难,突出了当前评估方法的局限性和需要更有效方法的必要性。在人工智能领域,评估是至关重要的,因为它决定了LLM的质量和...

Read More
2024-01-10 talkingdev

DeepSeek LLM技术报告发布:接近GPT-3.5水平

去年最好的编码模型之一是DeepSeek LLM。它在许多基准测试中接近GPT-3.5(即使它可能是3倍大小)。有关模型训练,令牌计数,模型架构等的信息已在技术报告中发布。DeepSeek LLM是一种基于语言模型的编码器,它使用自...

Read More