Nous研究推出了一款非常强大的34B模型，其建立在双语Yi模型的基础上。Capybara主要通过多轮数据进行训练，每次对话中的令牌数超过1000个，这使得它在处理信息密度较高的某些用户界面任务时具有独特的优势。

Nous研究利用他们的Yarn方法对Mistral 7B进行了微调，可以处理长达128k的语境。它在短序列长度上显示出最小的退化，并在长文档上大大提高了性能。

由Nous研究所训练的13B参数的LongLlama-2-13B模型现在可以处理多达8k的令牌(context)。该成果是通过精细调整和线性位置插值缩放实现的。LongLlama-2-13B模型的进步标志着人工智能技术的一大步，使得处理大规模数据变...