在开源大语言模型百花齐放的今天，一个模型究竟是真正从零开始预训练，还是基于现有开源权重衍生微调，常让外界难以分辨。Hugging Face社区发布的“Model Genome”项目，首次提出用类似生物基因指纹的方式为模型“验明...

据《金融时报》援引知情人士消息，TikTok母公司字节跳动正在预训练一个参数量高达10万亿的超大规模人工智能模型。这一数字大约是月之暗面Kimi K3模型参数量的三倍，也超过了Anthropic传闻中Mythos 5约8万亿参数的预...

美国能源部与开放智能实验室Arcee AI宣布联合开发Genesis-Science-1（GS1），一个面向科学计算工作流的开放权重AI模型。该项目旨在解决科学研究中计算流程难以复现的长期痛点，通过透明、可定制的模型架构和开放权重...

DeepMind提出了GenCeption，将预训练的视频生成模型重新设计为一种可通过文本指令控制的统一视觉系统，引发学界关注。该模型基于前馈、非自回归的生成式架构，不需要针对下游任务进行微调即可同时处理深度估计、表面...

一项新研究探索了利用稀疏技术高效训练大语言模型的方法，旨在显著减少算力开销的同时保持模型性能。该方案通过引入结构化稀疏与动态剪枝策略，在训练前期识别并冻结低重要性参数，使有效参数量呈指数级下降，从而降...

DeepReinforce近日开源了其新一代编程模型家族Ornith-1.0，这一系列模型的最大亮点在于具备自我编写强化学习（RL）训练框架的能力，标志着AI模型在自我优化和自动化研究方向上迈出重要一步。Ornith-1.0家族基于预训...

一篇来自LessWrong社区的技术文章深入探讨了2023年至2031年间大型语言模型（LLM）规模扩展的物理极限。文章指出，虽然预训练算力是决定模型规模的关键，但一个常被忽视的硬性约束在于推理时的令牌生成速度。具体来说...

英伟达今日正式发布Cosmos 3，这是一款面向物理AI的开源世界基础模型，标志着AI在理解与生成物理世界能力上的重大突破。Cosmos 3采用了创新的混合专家变换器（Mixture-of-Transformers）架构，将视觉推理、世界生成...