Hugging Face近日推出了一套名为SmolLLM的小型语言模型套件，其性能超越许多大型模型。这主要得益于数据集的精心策划和管理。SmolLLM以其精细的设计和优化，展示出了小型语言模型的巨大潜力和价值。这种模型不仅在处...

科技巨头们正在将注意力从大型语言模型转移到更有效的小型语言模型（SLMs），苹果和微软引入的模型具有明显较少的参数，但在基准测试中的性能却相当甚至超越了大型语言模型。OpenAI的CEO建议，我们正在超越LLMs的时...

微软正式发布了其Phi-3模型，并推出了Phi-3-Silica，这是一款专为Copilot+ PC中的神经处理单元优化的小型语言模型。Phi-3-Silica拥有33亿参数，能够在低功耗的情况下提供快速的本地推理。这标志着在Windows设备中直...

OpenAI的超对齐团队开发了一款名为Transformer Debugger的工具，以支持对小型语言模型的特定行为进行调查。该工具将自动可解释性技术与稀疏自编码器相结合。

Transformer Debugger是一种工具，它通过将自动可解释性技术与稀疏自动编码器相结合，支持对小型语言模型的特定行为进行调查。

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

Orca模型是微软的一组小型模型，擅长推理任务。由于许多信息被保密，因此存在关于其有效性的担忧。现在发布了Orca 2，该模型可在HuggingFace上获得。它展现了良好的性能，超过了几个较大模型的推理基准。