McGill-NLP实验室推出的Nano Aha Moment项目在GitHub开源，该项目通过极简架构实现高性能深度学习训练——仅需单个文件和一块GPU即可完成从零开始的完整参数调优，并复现了DeepSeek R1-Zero模型的训练范式。这一突破性...

Open Hands团队最新发布的32B参数代码模型（Open Hands LM-32B）在强化学习（RL）训练框架下，基于Qwen架构实现了突破性进展。该模型在代理编码任务（agentic coding tasks）中的表现已超越许多参数规模更大的竞品，...

Hugging Face 团队近日发布了其 DeepSeek 推理模型的开源复制项目 OpenR1 的最新更新。此次更新揭示了一个有趣的发现：当针对竞争性编程进行专门调优时，小型模型的表现可以超越更大规模的模型。这一发现不仅挑战了...

近日，首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练，架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性，显著提升了训练效...

近期，DeepScaleR的研究成果引起了广泛关注。该研究通过扩展强化学习（RL）训练，成功开发出一款1.5B参数的模型，其性能超越了O1-Preview。研究团队采用了一种独特的方法，即在RL训练过程中逐步增加上下文长度，从而...

字节跳动近期发布了一项名为'Byte Latent Transformer'的新型算法，在大规模模型训练中，采用了Patch而非Token作为基本的处理单元。该算法对于图像和视频内容的理解与分析展现出了卓越的性能，尤其适用于处理高分辨...

近日，Genie 2项目公开了其最新进展，旨在打造一个大规模的基础世界模型。Genie 2通过整合大规模语言模型（LLM）与先进的知识嵌入技术，创建了一个能够理解和预测世界运作的复杂系统。这个模型不仅能够处理自然语言...

近日，研究团队成功在AMD GPU上对Llama 405B进行了微调。这一进展不仅提升了模型的性能，也展示了AMD硬件在深度学习领域的潜力。通过针对特定任务的微调，Llama 405B在处理复杂自然语言处理任务时表现出色，证明了其...