Anthropic近日正式推出Claude Sonnet 5.5，这是对Sonnet 5的一次明确升级。官方介绍显示，新模型在编码、长时程任务和图像理解等方面性能更强。尽管令牌定价保持不变，但由于生成输出速度提升超过30%，并且完成任务...

Modal官方博客介绍了Query-Aware Inference Layer（Quail）推理引擎，该引擎通过将查询规划器与推理引擎相结合，并采用KV最优左深连接优化AI-SQL查询性能，在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...

Fireworks Research 正式推出新型专用模型 Ember-1，该模型构建于 Kimi K3 之上，在保持 Kimi K3 输出质量的同时，将 token 消耗量降低了 40%。Ember-1 目前已作为 Research Preview 版本在 Serverless 平台上推出，...

SemiAnalysis最新披露的推理测试结果显示，NVIDIA下一代Vera Rubin NVL72平台在运行1.6万亿参数的DeepSeek模型时，每兆瓦功耗下的Token吞吐量最高达到Blackwell平台的7倍，明显高于黄仁勋此前对1T-3T规模LLM给出的3...

Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

fal Research 宣布推出 H3 Max，这是 MiniMax H3 的后训练版本，由 fal 推理团队专门针对生成速度进行优化。官方表示，该模型可在不到 3 秒内生成一段 5 秒长的视频，显著降低视频生成等待时间。在人类偏好评估中，H...

美国芯片巨头AMD已同意收购多伦多AI芯片创业公司Taalas。这家由前AMD员工及Tenstorrent核心成员创立的公司，专注于将AI模型“硬连线”进定制硅片，从而在前沿推理场景中大幅打破计算与内存瓶颈。与传统依赖通用GPU或庞...