近期一篇综述文章关注循环深度Transformer(recurrent-depth transformers)的进展。这类架构在多个前向传递中重复使用相同的Transformer模块,从而在保持计算量不变的前提下显著降低参数存储开销。文章进一步探讨了...
Read More一项针对2019年至2025年预训练进展的拆解分析显示,计算效率提升的主要来源正从模型架构转向数据侧。研究发现,数据改进带来的计算效率增益约为模型改进的3.24倍,且两者基本相互独立、不存在显著交互效应。过去几年...
Read More在模型开发领域,“新扩展轴”往往意味着一次能力跃升。从扩大参数规模到扩大数据规模,行业每开辟一条新扩展路径,都会带来模型效果的显著提升。测试时训练(Test-Time Training)正被视为一个极具吸引力的新扩展轴:...
Read More近期开放模型在短短数月内取得显著进展,基础模型已不再是能力提升的主要瓶颈。以GLM5.3和Qwen3.8-27B为代表的新一代模型,其相较上一代的性能提升主要来自后训练阶段的优化,而非单纯扩大基础模型规模。值得关注的...
Read MoreExperiential是一个开源模型网关,旨在通过统一API控制平面管理智能体工作流,并兼容OpenAI及其他闭源、开源、本地和自定义模型。该项目的核心价值在于把分散的模型调用与流量治理集中到一个接口中,支持本地部署和...
Read MoreZ.ai正式确认,此前以ox-alpha名称匿名参与评测的模型,实际是GLM-5.3-Flash。该模型采用3200亿参数的混合专家(MoE)架构,每次推理仅激活180亿参数,在编码和智能体相关基准测试中表现接近Claude Opus 4.8。这一消...
Read MoreOpenAI正在将“丰富智能”愿景从模型层延伸到芯片层。其自研Jalapeño推理芯片围绕自身模型工作负载设计,早期基准测试显示,在GPT-OSS 120B模型上,Jalapeño相较测试中的商用系统实现了更高的每千瓦峰值吞吐量,同时To...
Read MoreOpenAI周二表示,为强化前沿模型的安全监控与防护能力,受监控的推理工作负载将额外增加约20%的计算开销。成本上升主要来自扩展后的多阶段思维链监控机制:系统会在模型逐步推理过程中进行多轮安全校验,以识别越狱...
Read More