一项针对大规模混合专家（MoE）模型长上下文训练内存瓶颈的研究提出四项调度技术，目标是同时约束所有内存峰值，而非仅降低平均占用。研究指出，长上下文或大batch下，任一组件的峰值分配超过设备内存就会失败，因此...

YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...