一项突破性研究展示了小模型通过创新训练方法战胜巨型模型的可能。日本Sakana.AI团队开发的"教师模型"采用全新范式——这些模型不需要自行解决问题，而是被直接提供问题和正确答案，专注于生成清晰易懂的解决方案解释...

开发者dleemiller近日在Hugging Face平台发布了Penny-1.7B语言模型，该模型通过创新性的训练方法实现了对19世纪《爱尔兰便士杂志》古英语风格的精准模仿。项目采用纯GRPO（一种新型优化算法）训练策略，仅用单张NVID...

苹果公司最近公开了其最新的7B参数模型的所有内容，包括代码和数据。这个模型与Mistral相比具有竞争力。该模型是通过深度学习和机器学习的技术进行训练和开发的，其性能和效果显示出了苹果在人工智能领域的强大实力...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

Google已经发布了其Gemma 2B和7B参数模型的权重，可通过HuggingFace获得。这些模型是仅解码器的Transformer，训练了2T和6T个令牌。它们在各种基准测试中都比Llama 2表现出色，并提供基础和指令调整版本。

近期，一种新型的视频语言模型已经问世，可以回答长达数百万词的视频问题。该模型采用环形关注机制和精细调整的7B参数模型，能够在检索基准测试中表现极其准确，胜过商业化视频语言模型。

通过在魔法飞天卡牌游戏中进行微调实验，以提高GPT-4的性能，获得了一个精细调整的7B参数模型，其性能接近于人类水平。

伯克利的一组研究人员使用合成偏好数据训练了一个新的最先进的7B参数模型。本文讨论了训练奖励模型的新挑战（例如，示例在列表中的位置会改变其排名）以及他们如何克服这些挑战。结果模型可与经过训练的奖励模型一起...