GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...

谷歌正在梅奥诊所测试其AI工具——Med-PaLM 2，这是一款专为解答医疗信息查询而设计的工具。作为语言模型PaLM 2的一个变种，Med-PaLM 2在推理、达成共识的答案和理解方面展现出了令人鼓舞的结果，尽管在准确性上还存在...

FunQA是一个创新的数据集，旨在测试和提升模型对令人惊喜的视频的理解能力，例如幽默或创意视频片段，推动模型在时间戳定位、视频描述和推理等领域的能力。

这项研究揭示了大型语言模型（LLMs）在处理不同任务时可以胜任，但在概率推理方面存在困难，从而限制了它们的性能。作者提出了一种名为Tart的解决方案 - 一种在通用方式下训练的推理模块，当与任何现有模型结合时，...

本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。

近日，一种开源代码模型在编码任务中表现超越ChatGPT等语言模型。封闭模型之所以强大，是因为它们实际上是伪装成语言模型的代码模型。很多开放式语言模型表现不佳，因为它们无法从大规模的代码预训练中获得推理能力...

## 新闻摘要： - Bard即将推出两项新功能：将响应导出到Google表格和实现后台代码运行。 - 后台代码运行可以帮助Bard检测问题是否需要数学、逻辑或代码推理，并执行相应的代码，从而提高输出结果的可靠性和准确性。...

近日，研究人员提出了一种名为Sparse-Quantized Representation（SpQR）的新技术，可以实现对大型语言模型（LLMs）的几乎无损压缩，克服了量化带来的精度损失。这项技术使得强大的LLMs可以在像笔记本电脑和手机这样...