PyTorch官方博客正式发布TorchNeuron,这是一个面向AWS Trainium芯片的开源原生PyTorch后端。该项目允许开发者继续使用已有的模型代码、库和工具,即可将训练负载迁移至Trainium,减少针对专用AI芯片的适配成本。Tor...
Read MoreInception Labs正式发布Mercury 3,这是目前该公司能力最强的扩散语言模型。官方称其在多项基准测试中超越了GPT-6 Luna和Claude Haiku 5.5,同时每秒可生成超过1000个token,运行速度比对比模型快4到8倍。这标志着扩...
Read More在大语言模型(LLM)被广泛用作自动评估者的趋势下,一个关键问题正在浮现:当多个LLM裁判给出高度一致判断时,这种一致性是否真的可靠?亚马逊科学博客最新研究指出,如果裁判模型共享提示词、模型架构或存在相似盲...
Read More近期一篇综述文章关注循环深度Transformer(recurrent-depth transformers)的进展。这类架构在多个前向传递中重复使用相同的Transformer模块,从而在保持计算量不变的前提下显著降低参数存储开销。文章进一步探讨了...
Read More一项针对2019年至2025年预训练进展的拆解分析显示,计算效率提升的主要来源正从模型架构转向数据侧。研究发现,数据改进带来的计算效率增益约为模型改进的3.24倍,且两者基本相互独立、不存在显著交互效应。过去几年...
Read MoreNVIDIA在Hugging Face平台推出DeepSeek-V4-Pro-0813-NVFP4量化模型,该模型是DeepSeek-V4-Pro-0813的量化版本,采用自回归混合专家(MoE)语言模型架构。通过NVIDIA Model Optimizer量化后,模型在保持高级推理能力...
Read MoreRamp Labs近日正式开源了PorTAL框架,这是一个面向共享任务表示与跨模型LoRA适配的前沿工具。PorTAL的核心思路在于将任务知识与基座模型解耦:它首先学习一个与模型架构无关的“任务隐变量”,再通过轻量级的逐模型对...
Read More月之暗面(Moonshot)正式开放其最新旗舰模型Kimi K3的权重,并同步发布详细技术报告。Kimi K3是一个总参数量达到2.8万亿的混合专家(MoE)模型,首次在架构层面原生融合视觉理解能力,可直接处理图像与文本交织的多...
Read More