OpenAI近日推出了一款新型小型模型——GPT-4o Mini，目标是替代现有的GPT-3.5模型。GPT-4o Mini在MMLU（Mixed Multi-Level Understanding）上的得分为82，这对于低成本模型来说是相当合理的表现。OpenAI一直致力于开发...

Mistral公司近日发布了一款新型的8x22B模型，并通过磁力链接供用户下载体验。根据社区首批基准测试结果显示，该模型作为基础模型表现突出，其77 MMLU（与推理能力密切相关的指标）得分令人瞩目。这一新模型的出现，...

AI21实验室近日发布了一款新型语言模型——Jamba，它采用了独特的模型结构，旨在实现比Transformers更高的效率，同时保持相当的性能水平。Jamba模型的最大亮点在于其创新性地融合了MoE（Mixture of Experts）层，这使...

法国AI初创公司Mistral宣布推出新的API模型，并与Azure达成合作。Mistral Large在多语言任务方面表现出色，在MMLU上仅比GPT-4差了几个百分点，性能强大。该初创公司还在其API中添加了一个新的mistral-small模型。

微软的Medprompt+是目前MMLU最佳提示方法。微软已发布该模板以及许多其他思路链式模板，这些模板在评估界是标准的。