本次调查深入探讨了生成信息检索（GenIR），这是一种全新的信息查找方式，它摒弃了传统的搜索方法，转而采用能够实时生成答案的方法。生成信息检索不再依赖于现有的数据库或信息源，而是依赖于先进的算法和技术，如...

ALPBench是一个专门设计用来对积极学习查询策略进行标准化基准测试的工具。积极学习是一种机器学习技术，其目标是通过选择最有用的数据进行训练，从而提高学习效率。然而，确定哪些数据最有用却是一项具有挑战性的任...

近日，Meta发布了两款语言模型，旨在将代码编译成汇编语言并能够反编译至LLVM IR。这两款模型在5460亿个高质量数据标记上接受了训练，并进行了进一步的指令调优。Meta的这一创新实现了优化后的汇编性能达到77%，反汇...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

Golden Gate Claude 是一个出色的案例，展示了如何使用SAEs（稀疏自编码器）进行模型的驾驭和解读。该工作为我们提供了一个直观的解释，解释了它是如何工作的，并提供了一些用于训练这些模型的示例代码。自编码器是...

研究人员已经发现，通过分类数据、预计算嵌入以及动态生成示例，可以使LLM语音助手更加高效和可扩展。他们利用RAG（Retrieval Augmented Generation）系统对语音助手进行优化，提高了其性能和扩展性。RAG是一种典型...

GeoMFormer是一种全新的基于Transformer的模型，旨在通过学习不变量和等变量特征来改进分子模型。这种模型的设计，彻底改变了传统分子建模的方法，为化学和生物科学的研究者提供了新的视角和工具。GeoMFormer的出现...

近日，AI与Morph Labs联合发布了一篇关于信息检索增强型生成（RAG）模型微调的优秀博客文章。在文章中，他们展示了一些合成数据的使用情况。信息检索增强型生成模型是一种新型的深度学习模型，它结合了信息检索技术...

TRL是一个Hugging Face库，专为使用强化学习训练变形金刚设计。这个示例允许您对基于视觉的语言模型如LLaVA进行相同的处理。Hugging Face是一个开源NLP（自然语言处理）社区和公司，致力于使用人工智能推动自然语言...

近期，Toucan发布了一套新的文本转语音模型，这套模型已经扩展，可以支持所有ISO-639-3标准语言。这个开创性的举措，将使全球各地的用户都能享受到语言转换的便利。无论是在学习、工作，还是日常生活中，这都是一项...