DeepSeek在Hugging Face上发布了DeepSeek-V4.1-Flash-1017。该模型在推理、编码、智能体任务和视觉基准上带来显著提升，同时减少任务执行时间和输出长度，在多个智能体框架中推动性能-成本帕累托前沿前移。技术层面...

Meta研究团队正式发布Muse Spark Open，这是一款总参数量达816B、活跃参数为42B的多模态开放权重模型，上下文窗口高达1M token。官方称其为迄今能力最强的美国开放权重模型，主要面向代码生成和长周期智能体任务。该...

一项针对大规模混合专家（MoE）模型长上下文训练内存瓶颈的研究提出四项调度技术，目标是同时约束所有内存峰值，而非仅降低平均占用。研究指出，长上下文或大batch下，任一组件的峰值分配超过设备内存就会失败，因此...

AI 初创公司 Magic 发布预训练研究更新，称其预训练方案的计算效率已比主流开源权重基础模型提升超过 10 倍，并正将规模扩展至万亿参数级别。团队认为，在缺乏大规模算力的情况下，小型实验室只能依靠算法效率参与竞...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

近日，阿里巴巴Qwen研究实验室正式发布Qwen 3.8 27B，这是一款采用Apache 2.0许可的270亿参数开源大语言模型，开放权重约17GB。据知名开发者Simon Willison介绍，该模型在中等参数规模下集成了长上下文处理、高效工...

据《金融时报》援引知情人士消息，TikTok母公司字节跳动正在预训练一个参数量高达10万亿的超大规模人工智能模型。这一数字大约是月之暗面Kimi K3模型参数量的三倍，也超过了Anthropic传闻中Mythos 5约8万亿参数的预...

来自Google的研究团队发布了DiffusionGemma技术报告，提出了一种实验性的开源权重语言模型，通过离散扩散生成文本，速度远超传统自回归模型。DiffusionGemma并未从零训练，而是在专家混合架构Gemma 4（激活参数38亿...