近代LML中常用的多头注意力模块的不同实现之间的速度存在近10倍的差异。本笔记本展示了其中几个实现，并对其性能进行了基准测试。

近期，开源社区发布了一个名为Fructose的Python包，其主要用途是为LLM调用创建可靠强类型接口。 Fructose是一个轻量级Python包，它可以帮助开发人员避免与LLM交互时的一些常见错误，例如类型不匹配或缺失参数。通过...

这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术，以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术，并详细讨论了它们的优缺点。...

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

近日，一项名为“双域条纹注意机制”的新技术在Github上发布，该技术极大地改善了图像恢复任务。传统的图像恢复方法对于纹理丰富的图像效果不佳，而这项新技术可以更好地保留图像细节和纹理信息。它通过使用双域条纹注...

最近，知名机器学习专家Andrej Karpathy提出了一个具有挑战性的任务：从他最近的一段视频中提取摘要并发布博客文章。经过一些数据预处理，Claude 3成功地完成了这项任务，并发布了一篇高质量有趣的博客文章。Claude...

近日，开源Sora计划在GitHub上成立，旨在打造类似OpenAI的文本到视频模型。该计划目前正在构建基础组件，并寻求有兴趣的开源贡献者的帮助。据悉，Sora模型通过将自然语言转化为场景描述，再将其转化为视频，实现了文...

Unsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例，其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth，Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核，实现...