在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

该项目介绍了一种新的3D建图和定位方法，使用轻量级神经网络处理点和线特征，显著提高了姿态准确性，同时占用更少的内存和计算要求。为了实现更快的姿态估计和更准确的3D建图，该方法使用了一种新的神经网络结构，该...

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。

MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

近日，一项研究探讨了如何通过采用参数更少的微型语言模型，使得强大的语言模型更适合移动设备。研究人员发现，相较于传统的大型语言模型，微型语言模型在保证语言表达能力的前提下，可以极大地减少模型参数，从而显...

谷歌展示了一种潜在的一致性扩散模型，并进行了一些架构上的改变。该模型在移动设备上进行了训练，具有亚秒级的生成时间。

谷歌似乎要完全放弃“Bard”品牌，并全面转向“Gemini”。本周早些时候，Bard的所有电话体验都更名为“Gemini”。 现在，移动设备和Web上的应用程序都显示“Bard现在是Gemini”。Bard由Gemini Pro提供支持，这是谷歌最新的AI...

Enchanted 是一个开源的 iOS 应用，它允许你在移动设备上运行语言模型。该应用能够快速地识别语音和文本并进行分类，是一个非常有用的工具。这个项目的代码已经在 GitHub 上公开，并且允许开发者自由调整和使用。