漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

Relace 近日公布其代码编辑应用模型 Relace Apply 3 的技术路线,该模型据称可实现每秒 10,000 个 token 的代码编辑应用速度,并帮助 Relace 的 ARR 突破 100 万美元。团队没有单纯依赖通用大模型,而是构建了专门的小型编辑模型:从 200,000 个候选合并样本中筛选出约 145,000 个高质量案例,并引入一个经过 500 次人工审核合并校准的 judge 模型进行质量过滤。在推理阶段,Relace Apply 3 采用 LoRA 微调、FP8 量化和投机解码的组合,在保持编辑精度的同时显著降低计算成本、提升吞吐。该模型支持 256,000 token 的上下文窗口和多种 diff 格式,适合大型代码库的长距离修改场景。值得关注的是,Relace 也指出,如果前沿模型在编辑准确性上继续提升,专用 apply 模型的必要性可能下降。这一案例为代码智能、垂直模型训练和推理加速的交叉探索提供了参考。

核心要点

  • Relace Apply 3 实现约 10,000 tokens/秒的代码编辑应用速度,并推动 ARR 超过 100 万美元。
  • 数据管线从 20 万候选样本筛选到约 14.5 万条,judge 模型由 500 次人工审核合并结果校准。
  • 采用 LoRA 微调、FP8 量化与投机解码,支持 256k token 上下文和多种 diff 格式。

Read more >