跨视角训练（SCT）可以提高小型语言模型的性能，使其能够生成先前仅可由较大模型实现的句子嵌入，从而优化性能和计算效率。

近日，研究人员提出了一种名为CLLM4Rec的全新方法，该方法通过高级预训练和新型语言嵌入，将大型语言模型与基于ID的系统相结合，提高了推荐精度。研究人员表示，CLLM4Rec的核心在于将大型语言模型与基于ID的系统相结...

Red Pajama v2已发布。它比用于训练GPT-4的数据集大2.5倍。它包含5种语言的多语言数据，并具有令人印象深刻的广度。重要的是，已经完成了许多去重工作和一些启发式过滤工作，没有代码数据。

在本周的OpenAI Dev Day上，OpenAI发布了一款名为GPT-4 Turbo的API，它可以提供128k上下文的自然语言处理，以及自定义GPT和视觉功能。这款API的成本只有GPT-3的一小部分。此外，OpenAI还发布了一款名为Codex的API，...

xAI公司发布了PromptIDE，这是一个用于提示工程和可解释性研究的集成开发环境。PromptIDE可以帮助研究人员快速构建和测试自然语言处理模型，提高模型的可解释性和可采用性。它支持多种编程语言和平台，并提供了丰富...

最近，一个名为Talk Llama的Github仓库备受关注，该仓库提供了一种在终端上与LLaMA AI进行交互的方式。LLaMA AI是一个基于GPT-3的自然语言处理模型，它的名字是“Language Model for Multi-turn Dialogue with Latent...

Nous Research运用他们的Yarn方法来优化Mistral 7B的性能，使其可以处理长达128k的上下文。该方法在短序列长度上表现良好，并可以显著提高处理长文档的性能。

亚马逊开始进入开源LLM领域，推出RoPE微调Mistral 7B模型，支持长文本上下文。该模型可在上下文中扩展至32k个令牌，可用于各种自然语言处理任务，例如问答和文本生成。RoPE是亚马逊开发的一种新的训练技术，可提高大...