研究人员提出了针对大型语言模型（LLMs）的补丁级别训练，以提高训练效率。补丁级别训练是一种新的技术，目的是优化大型语言模型的处理能力。这种方法通过在训练过程中引入更精细的补丁级别，提高了模型的训练效率，...

本项目深度探索了通向人工通用智能（AGI）的旅程，该旅程旨在以人类般的效率执行各种真实世界的任务。人工通用智能，是指能够理解、学习、适应和应对任何人类智能可以处理的任务的人工智能。这是一个极具挑战性的目...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

ReaLHF是一种全新的系统，它通过在训练过程中动态地重新分配参数和优化并行化，以提高来自人类反馈的强化学习（RLHF）的效率。ReaLHF通过创新的技术手段，实现了动态参数分配和并行化优化，从而达到了提高训练效率的...

Mistral.rs是一款基于Rust的推理框架，其最新版本已经上线。这款框架在最新的版本中实现了性能的重大提升，增加了GGUF支持，并带来了更多其他改进。Mistral.rs是专为机器学习和人工智能研究者设计的一款强大工具，其...

斯坦福大学人类中心人工智能研究院（Stanford HAI）发布了最新版本的基础模型透明度指数，对包括OpenAI和Google在内的14家主要人工智能开发商的透明度进行了评估。这些公司披露了之前未向公众公开的新信息，标志着在...

xAI近期公开发布了Grok-1模型的权重和架构。Grok-1是一种混合专家模型，拥有3140亿参数。发布的模型是Grok-1预训练阶段的原始基础模型检查点，这意味着它并未针对任何特定应用进行精调。该模型是由xAI使用自定义训练...

Buzz是一个创新型的数据集，它在预训练中融合了偏好数据。该数据集的研究者们还发布了几个利用这些数据训练的模型。他们发现，这些模型在许多人类偏好任务上表现出色。Buzz数据集的出现，无疑为人工智能研究提供了新...