2B参数文本到图像模型训练成本仅2.1万美元：Linium发布Pyramid-JiT
talkingdev • 2026-11-04
3053 views
Linium是一家两人组成的研究实验室，正尝试从零训练自己的生成式视频模型，以推动动画创作工具的普及。其提出的Pyramid-JiT（P-JiT）是一种像素空间架构，通过噪声调度实现大幅度的token削减，从而帮助像素空间模型更好地学习细粒度细节。该架构采用Apache 2.0许可证，参数量为2B。这项研究将更长时间训练视为一次压力测试，以检验该架构在向更大规模模型和视频生成迈进过程中的稳定性与扩展潜力。结果显示，在约2.1万美元的训练成本下，模型已能生成可用的图像样本。这一工作为低成本训练高质量生成模型提供了新思路，也展示了小团队在生成式AI领域的探索能力。
核心要点
- Linium实验室从零训练生成视频模型，并发布Pyramid-JiT像素空间架构
- P-JiT通过噪声调度实现激进token削减，提升像素空间模型对细节的学习能力
- 2B参数模型训练成本约2.1万美元，验证了向更大模型和视频扩展的潜力