在模型开发领域,“新扩展轴”往往意味着一次能力跃升。从扩大参数规模到扩大数据规模,行业每开辟一条新扩展路径,都会带来模型效果的显著提升。测试时训练(Test-Time Training)正被视为一个极具吸引力的新扩展轴:...
Read More近日,一个名为TTT-Discover的开源项目在GitHub上发布,其核心创新在于将强化学习(Reinforcement Learning)技术应用于大型语言模型(LLMs)的推理(Inference)阶段,而非传统的训练阶段。这一“测试时训练”(Test-...
Read More近日,GitHub上开源了一个名为E2E的JAX官方实现项目,它提出了一种创新的长上下文语言建模方法。该方法的核心在于将传统的语言建模任务重新定义为持续学习问题。E2E模型采用标准的Transformer架构,并配合滑动窗口注...
Read More