Soup 是一个以简化大语言模型微调与后训练流程为目标的开源项目。它将模型训练配置整合进一个 YAML 文件,并通过一条命令完成微调、评估、导出、推理服务部署等环节,同时提供 Web UI。项目支持常见训练方法,并可对...
Read MoreNous Research展示了一次大规模AI代理协作重构案例:Hermes Agent协调1393个子代理,在约19个活跃小时内对百万行Python代码库进行重构,将非测试源代码削减34.4%,模型调用成本约1.93万美元。相比之下,同样工作由人...
Read More文章指出,AI编程代理在显著提升开发效率、节省大量时间的同时,也可能生成看似可信但实际错误的“证据”,因此围绕智能体编码的验证流程与模型能力同等重要。作者强调,不能仅依赖一次性基准测试或团队口口相传的“工...
Read More标准强化学习(RL)在训练大语言模型(LLM)时,往往在最困难的问题上表现不佳,简单标量奖励信号难以精确衡量模型在复杂任务上的真实能力。这篇题为《Learning to Solve Hard Problems in RL for LLMs by Never Giv...
Read More在大语言模型(LLM)被广泛用作自动评估者的趋势下,一个关键问题正在浮现:当多个LLM裁判给出高度一致判断时,这种一致性是否真的可靠?亚马逊科学博客最新研究指出,如果裁判模型共享提示词、模型架构或存在相似盲...
Read MoreSemiAnalysis最新披露的推理测试结果显示,NVIDIA下一代Vera Rubin NVL72平台在运行1.6万亿参数的DeepSeek模型时,每兆瓦功耗下的Token吞吐量最高达到Blackwell平台的7倍,明显高于黄仁勋此前对1T-3T规模LLM给出的3...
Read More在大型语言模型(LLM)落地中,推理成本正成为企业关注的核心瓶颈。ByteByteGo最新指南指出,通过智能模型路由,系统可以将常规请求自动分配给成本较低的轻量模型,而将复杂、高风险任务保留给能力更强的模型。一个...
Read MoreCohere近日公布了专为North Mini Code模型打造的超内核(Megakernel)推理服务引擎,将一次完整的解码过程合并进一个常驻GPU内核,而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...
Read More