Relace 近日公布其代码编辑应用模型 Relace Apply 3 的技术路线，该模型据称可实现每秒 10,000 个 token 的代码编辑应用速度，并帮助 Relace 的 ARR 突破 100 万美元。团队没有单纯依赖通用大模型，而是构建了专门的...

Morph LLM近期发布了一系列针对开源代码生成模型的优化技术，旨在解决当前推理效率瓶颈。首先，团队通过训练一个专注于模型自身编码输出（而非通用互联网数据）的“起草模型”（drafter），在投机解码中取得了显著加速...

谷歌近期在Gemma大型语言模型上实现了令人瞩目的推理速度提升，成功将性能提升了三倍。这一突破性进展的核心在于采用了“投机解码”（Speculative Decoding）技术。该技术的工作原理是部署一个轻量级、速度极快的“草稿...