TorchTPU 是谷歌在 GitHub 开源的 PyTorch TPU 后端项目，目标是让 PyTorch 用户更直接、高效地利用 Google Cloud TPU 算力。该项目通过自定义 ATen 内核适配 TPU 执行特性，引入 XLA 编译缓存以减少重复编译开销，...

llm-d 是一个面向分布式大语言模型推理的 Kubernetes 原生技术栈，致力于将 vLLM、SGLang 等单节点推理引擎转化为可运行在本地硬件集群上的生产级服务。该项目的核心价值在于为常见的生产部署模式提供经过测试的配方...

据 Business Insider 援引消息人士报道，上月卸任谷歌首席科学家的 Jeff Dean 正为其 AI 初创公司 Discovery Loop 再次融资，最新目标估值约 500 亿美元。而就在几周前，该公司还以约 100 亿美元估值寻求 10 亿美元...

Google在GitHub开源了Accelerator Agents工具包，面向Google Cloud TPU开发场景，利用Gemini模型帮助开发者将PyTorch工作负载迁移到JAX，并优化自定义内核。该工具包包含MaxCode和MaxKernel两个核心模块：MaxCode负...

谷歌TPUv7 Ironwood的第三方推理结果首次在InferenceX官方预览中亮相。在与Nvidia B200/B300进行同口径FP8对比时，Ironwood每美元性能最高可领先50%，意味着单位成本下能够提供明显更强的推理吞吐。值得关注的是，Ir...

随着AI代理越来越多地调用外部工具并消费返回结果，工具输出已成为提示注入的新攻击面。ARMO最新分析指出，隐藏在工具结果中的恶意指令之所以能绕过常规防护，核心原因是输入检查与动作检查分别发生在代理循环的不同...

彭博社消息，Gimlet Labs完成由a16z领投的3亿美元新一轮融资，投后估值达到30亿美元。值得注意的是，该公司六个月前刚完成8000万美元A轮融资，估值与融资额均快速跳升。Gimlet Labs的核心方向是将AI计算任务拆分并调...

AI芯片架构正沿不同技术路线加速分化。英伟达GPU强调可编程性与可扩展架构，在通用AI训练和推理生态中保持主导；谷歌TPU采用专用化设计，针对矩阵乘法进行深度优化，以更高能效支撑大规模深度学习负载；AMD Instinct...