FlashAttention是现代快速语言模型的基础，而最新的FlashAttention 3版本则是其重要的升级。与以前的版本相比，新版本使用了75%的H100容量（相比之前的35%有了显著的提升）。这次的能力提升归因于一系列重要的系统改...

风险投资公司Andreessen Horowitz已经获取了成千上万的AI芯片，包括Nvidia H100 GPU，以此与他们的AI投资组合公司进行股权交换。这项行动是他们为了维持AI的活力并推动其发展所进行的'Oxygen'计划的一部分。Andreess...

Etched近日宣布完成由Primary Venture Partners和Positive Sum Ventures主导的1.2亿美元融资，天使投资人包含Peter Thiel，Stanley Druckenmiller和David Siegel等。Etched正在与TSMC的新兴业务集团直接合作，以在其...

Longcontext Alpaca训练技术最近取得了重大突破，通过在H100硬件上使用新的梯度累积卸载技术，成功训练了超过200,000个上下文窗口。这种创新方法使得大规模深度学习模型的训练变得更加高效，显著提高了计算资源的利...

英特尔公司近日宣布推出新一代Gaudi 3 AI处理器，该处理器在性能上实现了重大突破。据官方数据显示，Gaudi 3在训练性能上提升高达1.7倍，推理性能提升50%，同时在效率上也比英伟达的H100处理器高出40%，而成本却更低...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

Meta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。

旧金山计算公司（SF Compute）现在推出了全球最便宜的H100训练集群，并提供灵活的短期租赁选项，针对需要进行AI模型训练的客户，而无需长期承诺。其第一个集群Angel Island已经上线，另一个Bay Bridge即将推出。SF C...