近日，FlexPrefill技术通过动态调整稀疏注意力模式和计算预算，显著提升了大型语言模型（LLM）的推理效率。该技术通过查询感知模式确定和累积注意力索引选择，优化了长序列处理的速度和准确性。FlexPrefill的核心在...

近日，Moonshot发布了一项名为Block Attention混合算法的创新技术，该算法在长上下文语言模型（LLM）中的应用表现卓越，被认为可与NSA相媲美。Block Attention混合算法通过优化注意力机制，显著提升了模型在处理长文...

近日，OmniServe发布了一个全新的统一框架，旨在优化大规模LLM（大语言模型）的部署效率。该框架结合了低比特量化和稀疏注意力机制等创新技术，显著提升了模型推理速度并降低了成本。通过低比特量化，OmniServe能够...

近日，DeepSeek NSA论文因其可扩展且高效的长上下文注意力算法引发了广泛关注。然而，该论文并未提供相关代码。为此，一项基于Triton的实现应运而生，该实现可无缝集成到任何PyTorch代码库中。Triton作为一种高效的G...

近年来，随着深度学习技术的快速发展，循环神经网络（RNN）在处理时序数据方面曾被广泛应用。然而，研究者们开始质疑RNN是否仍然是解决此类问题的最佳方案。RNN的结构虽然能够捕捉序列数据中的时间依赖性，但在处理...

SFPNet是一种新方法，旨在实现对不同类型的LiDAR技术的泛化。该方法采用稀疏焦点调制技术，而非传统的窗口注意力机制，从而实现了对多级上下文的提取和动态聚合。这一全新的处理方式，使得SFPNet在LiDAR语义分割领域...

近日，由香港中文大学、清华大学等机构的研究人员提出了一种新的注意力机制模型——FlashAttention-3。相较于传统的注意力机制，FlashAttention-3 实现了异步和低精度计算，从而实现了在保证准确度的同时，大幅提高了...

FreeTraj是一种使用扩散模型控制视频生成中的运动轨迹的无需调整的方法。它修改了噪声采样和注意力机制，以指导生成的内容。通过这种方法，用户可以直接操控视频生成的过程，以实现特定的动态效果。FreeTraj的核心优...