近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...

Hugging Face最新技术报告揭示了视觉语言模型(VLM)领域的重大突破。研究表明，通过架构优化，新一代模型在保持较小参数量的同时，显著提升了多模态理解能力。这些进步主要体现在三个方面：复杂场景的推理能力、动态...

近日，自然语言处理领域迎来一项重要技术突破——MiniPLM框架正式发布。该框架创新性地提出了一种高效的小型语言模型（SLM）预训练方法，通过从大型语言模型（LLM）中提取知识进行蒸馏训练，显著提升了小模型的性能表...

近日，轻量级视觉语言模型MoonDream迎来2.0版本重大更新。这款仅含20亿参数的VLM（Vision-Language Model）在最新测试中展现出惊人实力，其性能不仅超越多个同量级开源模型，甚至在部分基准测试中优于参数规模更大的...

2023年的研究项目TinyStories提出一个引人入胜的问题：语言模型可以小到什么程度，还能流利地表达英语？随着人工智能技术的进步，人们对高效而准确的小型语言模型的兴趣日益增长。TinyStories的研究人员尝试通过缩小...

muP 是一种被所有前沿模型实验室广泛使用的强大工具，用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型，从而显著提升训练性能，同时降低计算成本。通过muP，研...

Sakana.ai正在东京建立世界级研究实验室，以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立，他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...

在知识蒸馏和初始化方面已经做了大量的工作，例如“彩票假设”。这项工作提供了一种简单的机制，可以从一个更大的模型中初始化一个更小的模型。这显著提高了较小模型的性能。