近期一篇综述文章关注循环深度Transformer(recurrent-depth transformers)的进展。这类架构在多个前向传递中重复使用相同的Transformer模块,从而在保持计算量不变的前提下显著降低参数存储开销。文章进一步探讨了...
Read MoreOpenAI 非营利董事会成员、AI 对齐研究领域的重要人物 Paul Christiano 在社交平台表示,他将加入 OpenAI 非营利董事会,并在安全与保障委员会任职,以支持安全监督工作。他同时发出明确警告:当前 AI 行业并未走在...
Read More据路透社报道,中国AI芯片厂商华为、寒武纪、MetaX与Iluvatar CoreX已对当前及下一代芯片产品提价20%-50%,主要原因是高带宽存储器(HBM)成本上升。HBM通过3D堆叠DRAM提供远高于普通内存的带宽,是AI训练和推理芯片...
Read MoreCohere近日公布了专为North Mini Code模型打造的超内核(Megakernel)推理服务引擎,将一次完整的解码过程合并进一个常驻GPU内核,而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...
Read More一项针对2019年至2025年预训练进展的拆解分析显示,计算效率提升的主要来源正从模型架构转向数据侧。研究发现,数据改进带来的计算效率增益约为模型改进的3.24倍,且两者基本相互独立、不存在显著交互效应。过去几年...
Read MoreMeta正式推出个人AI代理Muse,称其为全球首款为普通人打造的个人AI智能体。Muse由Muse Spark驱动,能够主动帮助用户实现目标,例如自动预订旅行、发送邮件等日常任务,展现出从对话助手向任务执行型智能体演进的趋势...
Read MorevLLM团队发布了一份关于在AMD GPU上使用推测解码(Speculative Decoding)的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token,同时保持目标模型的输出行为不变,有望显著提升推理效率。该指南基于...
Read MoreGoogle在GitHub开源了Accelerator Agents工具包,面向Google Cloud TPU开发场景,利用Gemini模型帮助开发者将PyTorch工作负载迁移到JAX,并优化自定义内核。该工具包包含MaxCode和MaxKernel两个核心模块:MaxCode负...
Read More