微信扫码实时跟踪AI前沿
Cerebras是一家人工智能训练芯片制造商,近日发布了一个在其系统上训练大型模型的框架,名为gigaGPT。该框架非常简单易用,不需要将大型模型分割成多个GPU和节点进行训练。
以下是新闻主要内容: - Cerebras-GPT是一种计算优化的语言模型系列,通过利用高效的预训练、扩展和最大更新参数化,展示了先进的预训练和下游目标的训练效率。 - 作为第一个比较计算优化的模型扩展的开放和可重现...