Luma首席科学家宋嘉明，作为最早为扩散模型开发加速算法的先驱，近日发布了新的多模态预训练方法——Inductive Moment Matching（IMM）。这一新方法不仅超越了传统扩散模型在样本质量上的表现，还实现了10倍以上的效率...

HiRAG（Hierarchical Retrieval-Augmented Generation）是一种创新的分层知识增强生成方法，旨在提升检索增强生成（RAG）技术在特定领域任务中的语义理解和索引能力。RAG技术通过将外部知识库与大型语言模型（LLM）...

近日，GitHub上发布了一个名为'Visual reasoning models'的开源工具包，旨在训练视觉语言模型（VLMs）以提升其基础逻辑和推理能力。该工具包由groundlight团队开发，主要专注于增强模型在处理复杂视觉数据时的理解和...

最近，一项名为WSI的研究将Whisper自动语音识别（ASR）编码器重新应用于多语言说话人识别任务，通过联合损失优化技术实现了显著的性能提升。该技术在多语言和多样化环境中识别说话人时，表现优于现有主流模型如Pyann...

DeepMind近日发布了一篇详细介绍DiLoCo跨数据中心训练算法扩展定律的论文。DiLoCo是一种强大的训练算法，能够在全球范围内同步梯度，确保模型训练的稳定性。该算法通过在多个数据中心之间进行分布式训练，有效提升了...

Transformer模型在自然语言处理和其他领域取得了显著的成功，而其核心之一是层归一化（Layer Normalization）。然而，最新的研究提出了一种替代方案：通过精心设计的tanh函数，可以在不依赖层归一化的情况下保持模型...

在大规模运行推理任务时，将AI转化为产品的过程中，这既是最大的挑战，也是最关键的一环。Baseten通过结合软件、专业知识和研究成果，推出了一个全面的推理平台，为生产级AI原生产品提供所需的一切支持。该平台涵盖...

近日，一项名为Block Diffusion的技术引起了广泛关注。该技术通过创新的方式在自回归模型（autoregressive models）和扩散模型（diffusion models）之间进行插值，为生成模型领域带来了新的突破。自回归模型以其序列...