一项针对大规模混合专家（MoE）模型长上下文训练内存瓶颈的研究提出四项调度技术，目标是同时约束所有内存峰值，而非仅降低平均占用。研究指出，长上下文或大batch下，任一组件的峰值分配超过设备内存就会失败，因此...

一项名为“Power”注意力的创新技术通过引入超参数p，实现了对状态大小的独立控制，有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力，并支持定制GPU内核，在64k上下文长度下速度...

Nebius近日开源了Kvax项目，这是一个基于JAX框架的Flash Attention实现，专门针对长上下文训练场景进行了优化。Kvax通过创新的上下文并行技术和高效的文档掩码计算，实现了更快的训练速度和更高的数据密度压缩，在性...