近日,研究人员开发了一种名为Resonance RoPE的新技术,帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding(RoPE)系统上进行了改进,提高了模型在长文本上的性能,...
Read MoreAnthropic最近发布了Claude 3家族的三个新模型,其中最强的模型匹敌了GPT4的报告基准结果。此外,这是一个多模态模型,对视觉任务表现良好。值得注意的是,Claude的编码能力在此版本中得到了显著提高。
Read MoreUnsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例,其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth,Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核,实现...
Read More特斯拉CEO马斯克起诉OpenAI,声称GPT-4构成AGI,不再受限于与微软的协议。他还主张更多的透明度和公开性。OpenAI是人工智能研究公司,由马斯克等人创立。该公司的GPT-3模型在自然语言处理领域取得了重要进展,但也引...
Read MoreBonito是一种开源模型,旨在将未注释的文本转换为定制的训练数据集,从而增强大型语言模型对专业任务的适应性,而不需要预先存在的注释。
Read More这个仓库包含了一系列有用的资源,重点是大型语言模型在视频理解领域的应用。这些资源包括论文、代码和数据集,可以帮助研究人员和工程师更好地理解和应用LLMa模型。LLMa模型是一种基于自然语言处理的技术,在视觉和...
Read MoreDual Chunk Attention(DCA)扩展了大型语言模型(如Llama2 70B)的能力,使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块,增强了模型对短期和长期上下文的理解。
Read More