近日，GitHub上发布了一个名为'Visual reasoning models'的开源工具包，旨在训练视觉语言模型（VLMs）以提升其基础逻辑和推理能力。该工具包由groundlight团队开发，主要专注于增强模型在处理复杂视觉数据时的理解和...

近日，CodeI/O技术通过将代码转换为输入输出预测格式，显著提升了大语言模型（LLM）的推理能力。该方法通过教授通用推理原则，而非依赖代码语法，从而在多种推理任务中实现了性能优化。此外，通过多轮修订进一步验证...

2023年，AMD针对其图形处理单元（GPU）进行了优化，以增强其在大型语言模型（LLM）推理任务中的竞争力。这项优化涉及到硬件和软件层面的协同工作，使得AMD的GPU在处理复杂的机器学习任务时能提供更好的性能和效率。...

最新研究显示，大型语言模型（LLM）的推理能力得益于预训练阶段发展出的程序性知识。程序性知识指的是一系列规则和步骤，这些知识在预训练过程中被模型学习并内化，进而在后续任务中被用来指导推理。这一发现强调了...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

本文深入探讨了基于变换器的语言模型推理的“光速”理论极限，强调了内存带宽相较于计算能力的重要性。文章通过实例展示了推理速度主要受限于从内存中读取数据的能力，而非执行计算的速度，这对于优化和理解AI性能是一...

LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进，提高了每秒的标记总数性能。第二项是嵌入式领域特定语言，用于复杂提示技术，允许并行提示。

苹果公司发布了两篇论文，介绍了新的三维头像和高效语言模型推理技术，这些技术可以让AI系统在iPhone和iPad上运行。这些技术的引入将使iPhone和iPad变得更加智能，更加个性化。这意味着用户可以在他们的设备上运行更...