首份关于大语言模型（LLM）服务经济学的综合模型揭示，随着AI公司竞相部署高token消耗的推理模型和智能体，当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现，网络延迟而非带宽成为主要瓶颈，阻碍了公司通过简单...

在大型语言模型（LLM）时代，推荐与搜索系统正经历从传统物品ID到丰富'语义ID'（Semantic IDs）的重大转型。这一变革引入了生成式检索和多模态嵌入技术，显著提升了系统处理冷启动覆盖、长尾内容发现的能力，并实现...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

Sakana AI研究团队开发出一项突破性技术——Text-to-LoRa（T2L）系统，该系统仅需文本描述即可即时定制大型语言模型，无需传统方法所需的训练数据或耗时微调过程。该技术的核心创新在于将数百个LoRA适配器（一种高效轻...

人工智能公司MiniMax在GitHub开源了其4560亿参数规模的推理模型M1，该模型采用创新的混合专家架构（MoE）并引入'闪电注意力'技术，实现百万token级别的超长上下文处理能力（相当于DeepSeek R1的8倍）。特别值得注意...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

谷歌近日宣布其人工智能模型Gemini 2.5 Pro和Flash版本已全面开放使用，同时推出预览版Flash-Lite。此次更新最引人注目的是引入了可控的“思考预算”机制，该技术通过动态分配计算资源，在保证推理精度的同时为开发者...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...