在大模型自回归推理过程中,KV缓存用于保存每个请求的注意力键值对,避免每一步解码都重新计算。但随着序列长度增加,KV缓存会线性膨胀,长上下文场景下甚至会消耗比模型权重更多的GPU显存,成为稀缺资源。更严重的...
Read More现代智能体通常运行在执行外壳(harness)中,由外壳管理工具、上下文与控制流。Agent Lightning v1.0提出一种轻量级“受控智能体强化学习”(harnessed agentic RL)框架,约3500行代码即可将任意智能体外壳接入RL训...
Read More近日,阿里巴巴Qwen研究实验室正式发布Qwen 3.8 27B,这是一款采用Apache 2.0许可的270亿参数开源大语言模型,开放权重约17GB。据知名开发者Simon Willison介绍,该模型在中等参数规模下集成了长上下文处理、高效工...
Read More近日,菲尔兹奖得主、知名数学家Timothy Gowers在其博客发文探讨大语言模型(LLM)在数学研究中真正擅长的任务类型。他指出,目前LLM参与解决的许多著名数学问题,几乎都是通过构造反例来完成的,而不是给出完整严格...
Read More据路透社援引知情人士消息,苹果已专门针对中国市场训练了一款大语言模型(LLM),并获得阿里巴巴的支持。若消息属实,苹果将成为首家在中国提供专有AI模型的外国公司。这一动作背后是中国对生成式AI服务的严格监管...
Read MoreQwen团队在Hugging Face发布Qwen3.8-2.4T-A95B模型。该模型基于Qwen3.5架构演进而来,重点提升编码与长时程任务处理能力,并通过改进的智能体执行机制提高任务完成可靠性。它支持SGLang、vLLM等主流部署框架,可较顺...
Read More美国芯片巨头AMD已同意收购多伦多AI芯片创业公司Taalas。这家由前AMD员工及Tenstorrent核心成员创立的公司,专注于将AI模型“硬连线”进定制硅片,从而在前沿推理场景中大幅打破计算与内存瓶颈。与传统依赖通用GPU或庞...
Read More大型语言模型(LLMs)的普及正在重塑技术工作的完成方式。它们大幅降低了编程、内容生成等任务的入门门槛,让原本技能有限的用户也能产出看似不错的成果,将许多人瞬间转变为“通才”式的多面手。然而,一项最新分析指...
Read More