Perplexity近日提出了一种名为JOLT的自蒸馏训练方法，打破了传统知识蒸馏需要独立教师模型与学生模型协同训练的范式。JOLT的核心在于让同一个模型在训练过程中同时承担教师和学生的角色，并根据学生当前能力动态调整...

Perplexity近日披露其Computer模型的一项新训练方法，通过将拒绝采样微调与提示引导自蒸馏相结合，让AI既能从成功执行的会话中学习，也能从用户纠正过的失败操作中吸收经验。传统微调往往依赖高质量成功样本，但真实...

DeepMind的研究团队近日在arXiv上发布了一项名为“弹性循环Transformer”的创新工作，为视觉生成模型领域带来了显著的效率突破。传统视觉生成模型通常依赖堆叠大量独立的Transformer层，导致参数量庞大。ELT的核心创新...

一项名为‘简单自蒸馏’（Simple Self-Distillation, SSD）的新方法为大语言模型的代码生成能力提升开辟了一条高效且成本低廉的路径。该方法的核心在于，仅利用模型自身在特定采样配置（如温度参数和截断策略）下生成...