E2URec是一种全新的方法，可以让基于大型语言模型的推荐系统高效、有效地“遗忘”用户数据，保证用户隐私的同时，又不牺牲系统性能。这种新方法以用户隐私保护为核心，通过改变推荐系统的学习机制，实现对用户数据的有...

语言模型依赖于单独训练的标记生成器。这些标记生成器可能会产生在语言模型训练过程中从未见过的标记。即使在最强大的现代语言模型中，也存在许多此类标记。本文探讨了这种现象，并提出了识别和处理这些标记的方法。...

预测多个令牌的同时生成是当前被积极研究的一个有趣的范式。如果成功，这将大大提高许多大型语言模型的生成速度。本篇文章中的方法，模仿了图像合成中的一致性模型，试图在精调的LLMs上使用并行解码策略来加快生成速...

YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...

llm-ui是一个React库，用于大型语言模型，允许开发人员向输出添加自定义组件。该库可以通过npm安装并导入到React项目中，使得开发人员可以使用自己的组件来定制模型的输出。llm-ui还提供了一些默认的组件来展示模型...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

传统上，搜索和推荐一直被分开，因为虽然它们在概念上占据了同一光谱的两端，但它们具有不同的工具、架构和机器学习目标。大型语言模型引入了需要小心管理的期望，因为在开放式解决方案空间中引导客户意图是很困难的...

近日，GitHub Repo发布了一款名为InstructDr的模型，该模型的设计目标是在各种视觉文档理解任务中表现优异，如问题回答和信息提取等。InstructDr能结合文档图片和大型语言模型，适应新的任务和数据集，其性能超过了...