近日，DeepSeek V4.1 Flash的大规模推理部署细节引发行业关注。其底层推理框架DeepInfer融合了分布式推理、智能缓存、负载均衡与推测解码等关键技术，旨在显著降低推理延迟并提升硬件利用率。相关数据显示，DeepSeek...

llm-d 是一个面向分布式大语言模型推理的 Kubernetes 原生技术栈，致力于将 vLLM、SGLang 等单节点推理引擎转化为可运行在本地硬件集群上的生产级服务。该项目的核心价值在于为常见的生产部署模式提供经过测试的配方...

人工智能研究机构Perplexity近日发布突破性代码，首次实现万亿参数混合专家模型在多个AWS服务器间的高效运行。这项技术突破使得算力基础设施相对薄弱的数据中心也能承载尖端AI模型的推理任务。当前大型语言模型面临...

人工智能研究公司Anthropic近日披露了其创新的多智能体研究系统架构。该系统采用编排器-工作者模式，通过一个主导研究智能体协调多个并行工作的专业化子智能体，并配备专门的引证验证智能体进行来源核查。该设计通过...

大型语言模型（LLM）推理过程中的非确定性问题正成为制约科学研究可重复性的关键障碍。即使将温度参数调整为0（贪婪采样模式），ChatGPT等模型仍无法保证输出结果的确定性。这种现象不仅存在于API服务中，即使在本地...

Llama cpp现已支持跨多台机器的分布式推理。这一功能目前仅限于FP16（半精度浮点数），但对于开源部署来说，这无疑是一个巨大的进步。通过分布式推理，开发者可以更高效地利用集群资源，提升模型推理的速度和效率。...