人工智能初创公司 Liquid AI 近日发布了全新的 LFM2.5-Encoders，这是一系列专门为在 CPU 上执行高效文档级推理而设计的编码器模型。随着企业级应用对长文本处理的需求激增，摆脱对昂贵 GPU 的依赖、实现低成本的边...

llamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一，它为用户提供了一种简单快速的方式，在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程，以及自v0.1版本以来实施的各种变化。最...

DeepSparse是一种CPU推理运行时，它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接，DeepSparse利用这些零权重的连接，跳过不必要的计算，从而实现推理加速。DeepSparse是一个开源项目，可...