Visual Speech Recognition with Language Models（VSP-LLM）框架在视觉语音识别和翻译中引入了新的方法，通过集成LLMs来高效处理视频输入，通过去重嵌入视觉特征和使用低秩适配器进行成本效益训练。

该项目引入了回声嵌入，这是一种新的策略，通过将未来令牌信息纳入其中，克服了自回归模型的一个关键限制。这是通过将输入重复两次来实现的，这显著提高了基准任务的性能，同时与其他嵌入增强方法兼容。

Meta最近发布了一款名为Pearls的强化学习库，该库已经在拍卖竞标系统、推荐引擎等应用中进行了部署，可以用于研究和部署。Pearls提供了一些在强化学习领域中非常实用的工具，例如，一些用于环境模拟和数据前处理的工...

世界体积感知多摄像头驾驶场景生成器（WoVoGen）是一个创新系统，旨在为自动驾驶创建逼真的街景视频。该系统使用机器学习和计算机视觉技术来生成高质量的街景视频，以帮助自动驾驶车辆更好地识别和适应不同的路况。W...

谷歌工程师和科学家开发了一个新的代码库，名为CPP Gemma推理引擎。与llama.cpp类似，该代码库允许在SIMD CPU架构上进行推理。该工具的目的是鼓励实验和使用昨天发布的Gemma模型。

近日，一款名为 PGlite 的神器在 GitHub 上发布，该神器可以让开发人员在浏览器、Node.js 和 Bun 中运行 Postgres，无需任何其他依赖。PGlite 的出现为 Postgres 的应用场景带来了更多可能性，开发人员可以更加方便...

众所周知，现代对话模型依赖于纯文本输入，因此在语言和视觉交互中，模型的表现力有限。为了克服这些限制，研究人员一直在探索多模态对话系统。在此背景下，ChatterBox是一种优秀的多模态对话模型，可在新建立的多模...

Lorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时，RAM内存占用会大幅减少。