Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。

Simulatrex是一个开源项目，专注于生成代理基于建模（GABM）。它利用大型语言模型进行更准确的模拟。这项技术可以帮助模拟相当复杂的互动系统，比如社交网络或自然生态系统。Simulatrex的开发人员希望通过提供一个易...

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。

IR-QLoRA是一种新方法，它可以提高量化大型语言模型的准确性，使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间，但它也...

最近，研究人员开发了一种名为ShieldLM的安全检测器，可帮助大型语言模型遵守人类安全标准，并提供自定义检测和解释决策的功能。该工具可检测模型是否存在安全问题，例如对不同种族、性别或群体的人有偏见，或者可能...

FuseChat推出了一种创新的方式，将多个大型语言模型的优势融合成一个更强大的模型，而不需要进行高成本的从头训练。

据悉，字节跳动开发了一种名为 MegaScale 的系统，可用于训练大规模并行的大型语言模型。该系统成功地在 12,288 个 GPU 上训练了一个 175B 的语言模型，达到了 55.2% 的模型 FLOPs 利用率，相当惊人。此外，字节跳动...

音乐理解通常需要在语言模型中添加特定编码器，这往往既昂贵又不稳定。然而，一项新的研究发现，将音乐转换为ABC符号后，音乐理解能力显著提高，且不会影响基本的语言能力。