Perplexity发布JOLT自蒸馏方法：模型兼任师生，数学推理与编码效率双提升
talkingdev • 2026-10-23
6282 views
Perplexity近日提出了一种名为JOLT的自蒸馏训练方法，打破了传统知识蒸馏需要独立教师模型与学生模型协同训练的范式。JOLT的核心在于让同一个模型在训练过程中同时承担教师和学生的角色，并根据学生当前能力动态调整反馈信号，从而避免教师输出与学生能力不匹配的问题。该机制使模型能够从自身表征中逐步提取更高质量的学习目标，提升训练稳定性与数据利用效率。官方披露，JOLT在数学推理、代码生成以及智能体任务上均带来了性能改善，同时减少了额外教师模型带来的计算开销。这一思路对高效训练大模型、降低推理成本具有积极意义，也为自监督学习和模型自我提升提供了新的技术路径。
核心要点
- JOLT让同一模型在训练中同时充当教师和学生，实现自蒸馏。
- 该方法根据学生能力动态调整反馈，提升训练稳定性和效率。
- 在数学推理、代码生成和智能体任务中均观察到性能提升。