近日，一种开源代码模型在编码任务中表现超越ChatGPT等语言模型。封闭模型之所以强大，是因为它们实际上是伪装成语言模型的代码模型。很多开放式语言模型表现不佳，因为它们无法从大规模的代码预训练中获得推理能力...

研究人员提出了竞争性基准测试系统"AlgoPerf"，旨在公平评估各种深度学习算法的训练效果，并为未来的改进奠定基础。这一研究解决了比较和改进深度学习训练算法的挑战，这些算法是加速数据处理、节省资源和创建准确模...

TWIST是一种新的训练语音语言模型（SpeechLMs）的方法，它使用预先训练的文本模型来进行热启动。该方法优于从头开始训练，经验分析强调了模型和数据集规模的重要性。这项研究介绍了迄今为止最大的SpeechLM，并引入了...

在传统AI训练中，我们使用通常的语言标签（如“积极”或“消极”），但现在有了一种新的方法——符号调整。符号调整是一种新的AI训练方式，它使用随机的符号（如“foo”或“bar”）代替正常的语言标签，迫使AI从输入与标签之间...

### 新闻内容： 研究人员创建了一个名为Cola的基准测试，以测试和改进AI模型在组合推理方面的表现。他们发现，当前的AI模型在组合物体和它们的特征方面仍存在困难。而轻量级多模态适配器可以帮助模型更好地理解图像...

近期，mosaic ML平台引起了广泛关注。其中一个令人惊讶的模型就是Pass@20，该模型的大小惊人地小，但性能卓越。它由曾经在Google编程合成项目工作的人员在转到Replit后进行训练。在标准的HumanEval基准测试中，它可...

最近的OpenAI模型在一些有趣的基准测试中表现出色，包括因果发现和因果推理。我们知道相关性不等于因果关系，但是训练用于查找相关性的模型是否能够发现因果关系呢？这些模型似乎做得到！然而，它们也表现出令人惊讶...

最近有人说，现今的大型语言模型“已经看遍整个互联网”。这并不完全正确，但它们确实看过许多不同的书。而且结果表明，它们已经记住了许多这些书的内容。这篇有趣的论文试图通过一些巧妙的实验来找出它们记住了哪些书...