近日，LessWrong 上一篇分析文章指出，大语言模型之所以在数学和编程任务上表现突出，并不能简单归因于“数学答案容易验证”。更核心的原因在于：这些模型的能力仍主要由模仿学习驱动，而非强化学习；数学领域的预训练...

谷歌近日发布TimesFM-3，这是一款拥有3.3亿参数的时间序列基础模型，预训练数据规模超过1万亿个时间点。该模型聚焦零样本预测，可在不进行任务特定微调的情况下对多个目标变量进行联合预测，并支持历史协变量和已知...

美国能源部与开放智能实验室Arcee AI宣布联合开发Genesis-Science-1（GS1），一个面向科学计算工作流的开放权重AI模型。该项目旨在解决科学研究中计算流程难以复现的长期痛点，通过透明、可定制的模型架构和开放权重...

近日，一个名为TTT-Discover的开源项目在GitHub上发布，其核心创新在于将强化学习（Reinforcement Learning）技术应用于大型语言模型（LLMs）的推理（Inference）阶段，而非传统的训练阶段。这一“测试时训练”（Test-...

在开源人工智能社区中，PDF文档长期以来被视为一座未被充分挖掘的高质量数据金矿。近日，Hugging Face团队正式发布了其开创性的预训练数据集项目——FinePDFs，成功从海量PDF文档中提取并构建了一个规模超过3万亿令牌...

AllenAI最新推出的Data Decide工具为预训练过程中的数据筛选提供了创新解决方案。这一框架能够帮助研究人员和开发者更科学地评估和选择预训练数据，显著提升模型训练效率和质量。该工具通过系统化的评估指标，量化不...

DeepMind近期在视觉语言模型（VLM）预训练领域取得了重大突破，将训练数据规模提升至前所未有的1000亿张图像。这一规模远超以往尝试，显著提升了模型在多样化全球任务中的表现。尽管在西方中心化任务上的性能已趋于...

WebLlama是一个设计精良的模型，能够浏览网页并据此回答相关问题。这种模型可用于生成高质量的预训练数据集，或者执行需要从网页查询信息的研究。WebLlama的目标是通过模型的训练，使其能够更好地理解和处理网络信息...