Hazy Research的最新研究表明，通过Ollama使用本地模型，并结合长上下文云端模型作为协调器，可以在仅花费17%成本的情况下，实现97%的任务性能。这一发现为企业在AI部署中提供了更高效、更经济的解决方案。本地模型...

近日，Moonshot发布了一项名为Block Attention混合算法的创新技术，该算法在长上下文语言模型（LLM）中的应用表现卓越，被认为可与NSA相媲美。Block Attention混合算法通过优化注意力机制，显著提升了模型在处理长文...

近日，DeepSeek NSA论文因其可扩展且高效的长上下文注意力算法引发了广泛关注。然而，该论文并未提供相关代码。为此，一项基于Triton的实现应运而生，该实现可无缝集成到任何PyTorch代码库中。Triton作为一种高效的G...

最近，一种新型的循环神经网络（RNN）变体在多项任务中的表现超过了Mamba。这种新型的RNN变体的重要特点是其更新函数本身就是一个机器学习（ML）模型。这使得它可以处理长上下文和在上下文中进行学习。在现今的机器...

近日，Google发布了新的轻量级模型Gemini Flash。此模型具有多模态推理和高达一百万个符号的长上下文窗口。Google利用其先进的技术，使Gemini Flash在处理大量数据时保持了高效与精确。这种新型的轻量级模型将有助于...

Llama3是一种革命性的新技术，它通过使用Unsloth进行微调，可以在保持相同的计算效率的同时，显著降低VRAM的使用量。最近的研究表明，使用Unsloth微调Llama3可以使上下文长度增长六倍，这比HF的flash attention技术...

近日，研究人员开发了一种名为Resonance RoPE的新技术，帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding（RoPE）系统上进行了改进，提高了模型在长文本上的性能，...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...