Relace Apply 3 发布:一年打磨,代码编辑推理冲至每秒 1 万 Tokens
talkingdev • 2026-10-14
1895 views
Relace 近日公布其代码编辑应用模型 Relace Apply 3 的技术路线,该模型据称可实现每秒 10,000 个 token 的代码编辑应用速度,并帮助 Relace 的 ARR 突破 100 万美元。团队没有单纯依赖通用大模型,而是构建了专门的小型编辑模型:从 200,000 个候选合并样本中筛选出约 145,000 个高质量案例,并引入一个经过 500 次人工审核合并校准的 judge 模型进行质量过滤。在推理阶段,Relace Apply 3 采用 LoRA 微调、FP8 量化和投机解码的组合,在保持编辑精度的同时显著降低计算成本、提升吞吐。该模型支持 256,000 token 的上下文窗口和多种 diff 格式,适合大型代码库的长距离修改场景。值得关注的是,Relace 也指出,如果前沿模型在编辑准确性上继续提升,专用 apply 模型的必要性可能下降。这一案例为代码智能、垂直模型训练和推理加速的交叉探索提供了参考。
核心要点
- Relace Apply 3 实现约 10,000 tokens/秒的代码编辑应用速度,并推动 ARR 超过 100 万美元。
- 数据管线从 20 万候选样本筛选到约 14.5 万条,judge 模型由 500 次人工审核合并结果校准。
- 采用 LoRA 微调、FP8 量化与投机解码,支持 256k token 上下文和多种 diff 格式。