一家名为LLMify的初创公司正在推出一种新的方法来训练语言模型，他们将在没有预训练模型的情况下从零开始培训LLMs。该公司的创始人表示，这种方法可以提高模型的准确性和适用性，并加快训练时间。该公司已经引起了一...

近日，研究人员开发了一种名为Resonance RoPE的新技术，帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding（RoPE）系统上进行了改进，提高了模型在长文本上的性能，...

Emissary发布了一个基准测试平台，可以使开发人员在他们自己的条件下快速可靠地评估提示并管理模型迁移和回归。通过自动LLM辅助评估或将评级外包给Emissary，生成和扩展测试集，定义自定义指标，并协作地手动团队评...

这个仓库包含了一系列有用的资源，重点是大型语言模型在视频理解领域的应用。这些资源包括论文、代码和数据集，可以帮助研究人员和工程师更好地理解和应用LLMa模型。LLMa模型是一种基于自然语言处理的技术，在视觉和...

随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

PromptMM是一种使用多模态知识蒸馏的在线购物推荐系统，可以改善像亚马逊和TikTok这样的平台上的推荐系统。它通过从各种内容类型（视觉、文本或声音）中蒸馏出重要特征，来解决用户偏好的不准确性，并简化系统，以防...

Distilabel是为AI工程师设计的框架，使用人类反馈的强化学习方法（例如奖励模型和DPO）对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集，清洗和训练。

Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。