近日，DeepSeek V4.1 Flash的大规模推理部署细节引发行业关注。其底层推理框架DeepInfer融合了分布式推理、智能缓存、负载均衡与推测解码等关键技术，旨在显著降低推理延迟并提升硬件利用率。相关数据显示，DeepSeek...

OpenAI正在将“丰富智能”愿景从模型层延伸到芯片层。其自研Jalapeño推理芯片围绕自身模型工作负载设计，早期基准测试显示，在GPT-OSS 120B模型上，Jalapeño相较测试中的商用系统实现了更高的每千瓦峰值吞吐量，同时To...

据彭博社报道，印度AI基础设施公司AM Intelligence已向英伟达订购9000套Vera Rubin系统，并计划在总额80亿美元的项目中提供1吉瓦（GW）计算容量。Vera Rubin是英伟达面向下一代AI工作负载推出的高性能计算平台，主要...

加州大学圣克鲁兹分校视觉、语言与行为实验室（VLAA）在GitHub开源了MedReason项目，这是一个专为提升大语言模型（LLM）医疗推理能力构建的大规模数据集。该数据集通过结构化临床案例、医学知识图谱和多模态数据，旨...

近日，Character AI在其大规模推理系统中成功减少了KV缓存的使用，并在一个简化版的GPT模型中实现了这一优化。通过这一技术改进，内存使用量减少了40%。这一优化不仅提升了系统的运行效率，还为未来更大规模的AI模型...