OpenAI近日推出了一款新型小型模型——GPT-4o Mini，目标是替代现有的GPT-3.5模型。GPT-4o Mini在MMLU（Mixed Multi-Level Understanding）上的得分为82，这对于低成本模型来说是相当合理的表现。OpenAI一直致力于开发...

Google Cloud近日宣布推出Claude 3 Opus，这一新模型将作为其Vertex AI产品的一部分，进一步增强其人工智能工具的应用能力。Claude 3 Opus不仅仅是一个升级版本，它还包括了多种小型模型，能够更加灵活和高效地处理...

Phi-3系列的小型模型迎来了14B版本的升级。此次升级的14B版本表现出色，其性能与Command R（104B模型）相媲美。Phi-3 14B模型的改进使其在处理复杂任务和数据分析方面有了显著提升，成为行业内备受瞩目的新星。Huggi...

Cappy是一款小型模型，专门设计用于接收指令和候选完成，然后为完成度打分，以衡量其完成指令的程度。在这项任务上，Cappy的表现超越了许多更大的模型，这表明它可能作为训练和生成过程中的一个反馈机制。Cappy的成...

近日，一款名为SliceGPT的新一代模型压缩工具问世。据悉，该工具可以适用于从Phi-2等小型模型到大型模型的多种规模，并可对模型的权重矩阵进行剪枝处理，最大程度保持模型质量的同时，实现模型参数的大幅度减少，以...

SwitchHead是使AI模型更高效的突破。它减少了Transformer的内存和计算需求，同时不会降低性能。SwitchHead是一种新颖的神经网络结构，可以在不丢失性能的情况下，将一个大型Transformer模型拆分为多个小型Transforme...

Orca模型是微软的一组小型模型，擅长推理任务。由于许多信息被保密，因此存在关于其有效性的担忧。现在发布了Orca 2，该模型可在HuggingFace上获得。它展现了良好的性能，超过了几个较大模型的推理基准。

跨视角训练（SCT）可以提高小型语言模型的性能，使其能够生成先前仅可由较大模型实现的句子嵌入，从而优化性能和计算效率。