一篇来自LessWrong社区的技术文章深入探讨了2023年至2031年间大型语言模型（LLM）规模扩展的物理极限。文章指出，虽然预训练算力是决定模型规模的关键，但一个常被忽视的硬性约束在于推理时的令牌生成速度。具体来说...

英伟达今日正式发布Cosmos 3，这是一款面向物理AI的开源世界基础模型，标志着AI在理解与生成物理世界能力上的重大突破。Cosmos 3采用了创新的混合专家变换器（Mixture-of-Transformers）架构，将视觉推理、世界生成...

一项最新研究揭示了语言模型在预训练过程中的一个惊人现象：它们并非平稳地提升能力，而是在“模仿”和“智能行为”之间突然切换，研究人员将其称为“模式跳跃”。这种非连续性的行为转变无法通过标准的优化技术（如调整学...

近日，一款名为HRM-Text的新型文本生成模型在GitHub上开源，引发了AI社区的广泛关注。该模型基于HRM架构，参数规模为10亿（1B），但其最大的亮点在于惊人的训练效率。据项目介绍，HRM-Text的训练所需的计算资源和数...

一项针对阿里通义千问Qwen3.5-9B模型的最新逆向分析揭示，该模型的政治审查并非根植于其预训练阶段获取的事实性知识，而是在知识层之上附加的一层独立、可识别甚至可移除的注意力电路。研究人员发现，模型本身并未“...

谷歌研究团队近日在GitHub上开源了TimesFM（Time Series Foundation Model），这是一个预训练的时间序列基础模型，专为时间序列预测任务而设计。该模型采用了一种创新的“分块解码器”风格注意力架构，并在一个大规模...

近日，一个名为ATLAS（Adaptive Test-time Learning and Autonomous Specialization）的开源项目在开发者社区引发广泛关注。根据Hacker News上的讨论，该项目展示了一项引人瞩目的性能表现：在特定的编码基准测试中...

一家名为Moonshine AI的小型初创公司（团队仅六人，月GPU预算低于10万美元）近日在GitHub上开源了其自动语音识别（ASR）项目Moonshine。该项目针对边缘设备优化，提供了快速且高精度的语音转文本（STT）模型。据开发...