微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家（MoE）架构，总参数规模达到2.8万亿，活跃参数为800亿。微软表示，在留出预训练评估中，MAI-Base-2超越了所有开源权重模型，展现出较...

近日，LessWrong 上一篇分析文章指出，大语言模型之所以在数学和编程任务上表现突出，并不能简单归因于“数学答案容易验证”。更核心的原因在于：这些模型的能力仍主要由模仿学习驱动，而非强化学习；数学领域的预训练...

Rhoda AI 团队围绕视频基础模型与机器人策略的规模化问题展开研究，重点考察扩大模型参数量与预训练计算量，是否能直接提升机器人在真实工业环境中的操作能力。研究采用 Direct Video-Action 模型，直接将视频观测映...

ZeroModels 是一个完全基于 Keras 3 构建的预训练模型集合，覆盖图像分类、目标检测、分割、单目深度估计、特征提取、视觉语言模型和语音识别等任务。该项目最大的亮点在于同一套代码可原生运行在 JAX、PyTorch 和 T...

一项针对2019年至2025年预训练进展的拆解分析显示，计算效率提升的主要来源正从模型架构转向数据侧。研究发现，数据改进带来的计算效率增益约为模型改进的3.24倍，且两者基本相互独立、不存在显著交互效应。过去几年...

AI 初创公司 Magic 发布预训练研究更新，称其预训练方案的计算效率已比主流开源权重基础模型提升超过 10 倍，并正将规模扩展至万亿参数级别。团队认为，在缺乏大规模算力的情况下，小型实验室只能依靠算法效率参与竞...

谷歌近日发布TimesFM-3，这是一款拥有3.3亿参数的时间序列基础模型，预训练数据规模超过1万亿个时间点。该模型聚焦零样本预测，可在不进行任务特定微调的情况下对多个目标变量进行联合预测，并支持历史协变量和已知...

一项颇具技术趣味的研究揭示了如何通过向GPT、Claude等前沿大模型提出精心设计的问题，来逆向推断模型训练过程中的隐藏事实。研究人员发现，用特定领域的冷门知识对模型进行评分，可以大致估算出模型的参数量规模；...