YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

Consistency LLM是一种新的自然语言处理模型，可以将其转换为并行解码器，从而将推理时间缩短至3.5倍。LLM模型是一种具有良好性能的模型，但推理速度较慢。该研究团队将LLM转换为并行解码器，使用了一种名为一致性训...

像GPT-4V这样的视觉-语言模型在理解和与图像和文本交互方面正在快速发展。然而，最近的一项研究揭示了它们在视觉推理上的重大限制。研究人员使用复杂的视觉难题，如智商测试中的难题，来测试这些模型，并发现它们在...

DeepSeek近期推出了一个具有超过2000亿参数的模型DeepSeek-V2，其中激活参数达到210亿。无论是在编码还是推理方面，该模型的表现都极为出色。虽然目前尚不清楚其性能是否超过了拥有700亿参数的Llama 3模型，但无疑，...

近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

llamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一，它为用户提供了一种简单快速的方式，在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程，以及自v0.1版本以来实施的各种变化。最...