首份关于大语言模型（LLM）服务经济学的综合模型揭示，随着AI公司竞相部署高token消耗的推理模型和智能体，当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现，网络延迟而非带宽成为主要瓶颈，阻碍了公司通过简单...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

Together AI宣布在其Serverless Inference API和专用端点服务中集成两大前沿AI模型：DeepSeek R1-0528语言模型与FLUX.1 Kontext图像生成系统。DeepSeek R1-0528通过升级的推理能力、函数调用支持及代码生成优化，显...

人工智能领域迎来重要进展，Featherless AI近日正式成为Hugging Face平台的推理服务提供商。这一合作将为开发者带来革命性的无服务器（serverless）模型访问体验，用户无需管理底层基础设施即可直接调用包括Meta、Qw...

AlphaWrite是一项突破性的智能写作技术，它通过生成具有不同作者风格和主题的故事变体，并利用成对比较方法对内容质量进行排序，最终通过多代进化筛选出最优作品。这一创新不仅展示了人工智能在创意写作领域的潜力，...

人工智能平台Hugging Face近日发布了一项突破性的语音转录服务——Whisper极速端点（Fast Whisper Endpoint）。这项创新技术通过优化模型架构和计算资源分配，实现了高达8倍的转录速度提升，为语音处理领域树立了新的...

DeepSeek最新研究论文《Inference-Time Scaling for Generalist Reward Modeling》提出了一种创新方法，通过推理时缩放技术优化奖励模型，从而引导更强大的推理模型生成。该技术标志着这家中国初创公司的一项战略布...