优化后的Llama 2，上下文长度达到32k
talkingdev • 2023-07-31
1199874 views
最近获得2000万美元投资的together公司，已经对Llama 2进行了微调，通过在位置嵌入上进行线性扩展，使其在处理上下文时可以处理高达32k的token。他们在许多有趣的基准测试中进行了测试，但是他们警告说，现代语言模型中“忘记中间”仍然是一个很大的问题。尽管存在这种情况，但我们不能否认Llama 2在上下文长度处理方面的巨大进步。这也预示着未来在更大规模的语言模型中，我们可能会面临更多这样的挑战，需要通过不断的技术创新和优化来解决。
核心要点
- together优化了Llama 2，使其可以处理高达32k的上下文代币
- 尽管存在“忘记中间”的问题，但Llama 2在上下文长度处理方面取得了巨大进步
- 对于更大规模的语言模型，我们可能需要面临更多此类问题，并通过技术创新和优化来解决