谷歌工程师和科学家开发了一个新的代码库，名为CPP Gemma推理引擎。与llama.cpp类似，该代码库允许在SIMD CPU架构上进行推理。该工具的目的是鼓励实验和使用昨天发布的Gemma模型。

Google已经发布了其Gemma 2B和7B参数模型的权重，可通过HuggingFace获得。这些模型是仅解码器的Transformer，训练了2T和6T个令牌。它们在各种基准测试中都比Llama 2表现出色，并提供基础和指令调整版本。

谷歌推出了一系列新的AI语言模型Gemma，这些模型是基于类似Gemini的技术构建的免费开源模型。Gemma模型可在桌面或笔记本电脑上本地运行，有两个模型，一个有20亿个参数，另一个有70亿个参数。每个模型都有经过预训练...