McGill-NLP实验室推出的Nano Aha Moment项目在GitHub开源，该项目通过极简架构实现高性能深度学习训练——仅需单个文件和一块GPU即可完成从零开始的完整参数调优，并复现了DeepSeek R1-Zero模型的训练范式。这一突破性...

近日，GitHub上发布了一个名为DETRIS的参数高效调优框架，该框架专注于提升多模态任务中视觉特征的传播效率。DETRIS通过密集互连和文本适配器（text adapters）来增强视觉特征的传播，特别是在编码器未对齐的情况下...

muP 是一种被所有前沿模型实验室广泛使用的强大工具，用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型，从而显著提升训练性能，同时降低计算成本。通过muP，研...