Lumina是一个新一代的项目，其目标是成为统一的文本到X生成模型。这个项目的训练涉及到图像、视频、音频和文本的交替，这种方法提高了下游性能。Lumina项目带来的这种全新技术，将对未来的人工智能、机器学习和深度...

Mirage项目是一个多层次的张量优化引擎，能够产生极高性能的线性代数模块内核。它利用了张量的多层结构，进行深度优化，从而实现了高度优化的内核计算。在GitHub上，Mirage项目已经开源，并得到了广大开发者的热烈追...

Hazy研究团队最新推出一款名为ThunderKittens的CUDA DSL，旨在帮助开发者更简单、更高效地编写CUDA内核。据了解，该团队已经用这款新工具编写了flash attention模块，结果表明其运行速度比原版本快了30%，而且仅需10...

近日，一种新型的标签方法被研究者利用在了图片和文字的配对上，这种方法运用了两次的VLMs（视觉语言模型）扫描，产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细，能够帮助训练...

ChemFlow是一个新的框架，旨在通过使用深度生成模型高效地导航化学空间，从而提高分子科学的效率。这种新型框架的出现，使化学研究人员能够在化学空间中更加精准地进行探索和导航，从而为分子科学领域的研究和发展开...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

DeepSeek近期推出了一个具有超过2000亿参数的模型DeepSeek-V2，其中激活参数达到210亿。无论是在编码还是推理方面，该模型的表现都极为出色。虽然目前尚不清楚其性能是否超过了拥有700亿参数的Llama 3模型，但无疑，...

Unsloth.ai的创始人近期发布了一段视频，详述了他们的团队如何使用PyTorch，编写他们的内核，以及设计他们的API界面。Unsloth的框架和库功能强大，易于使用。Unsloth通过这种方式，使得大量的开发者能够更好地进行深...