当前位置：首页 > 资讯 > > 正文

通过购买我们的GPU将CPU培训LLM的成本从1000万美元降至仅400,000美元|天天热讯

来源：互联网    时间：2023-05-30 16:36:25


(资料图片)

NVIDIA在2023年Computex上对整个CPU行业进行了多次抨击。Jensen在4年后的首次现场表演中登台，大胆(而且非常正确)宣布生成AI和加速计算是计算的未来。在阅读对摩尔定律传统智慧的颂词时，他宣称，在保持功率和成本不变的情况下，您可以在5年内获得10倍速度的时代已经结束。未来，大部分加速将来自生成人工智能和基于加速计算的方法。他还与观众分享了一个绝对可爱的TCO：

NVIDIA在Comptuex上展示了大型语言模型(LLM)TCO分析：

让我们先从基线开始。需要一台基于960CPU的价值1000万美元的服务器来训练1个LLM(大型语言模型)。明确地说，NVIDIA计算了训练单个大型语言模型所需的服务器集群的完整成本(包括网络、外壳、互连——一切)，发现训练一个语言模型大约需要1000万美元和11GWh的功耗。单一的大型语言模型。

另一方面，如果保持成本不变并购买价值1000万美元的GPU集群，则可以用相同的成本和一小部分电力成本(3.2GWh)训练44个大型语言模型。这种情况在TCO分析中称为ISO成本(保持沉没成本不变)。

如果您改用ISO电源或保持功耗不变，那么您实际上可以通过以3400万美元的成本在11GWh的相同功耗下训练150个LLM来实现150倍的加速。该集群的占用空间仍然明显小于CPU集群。

最后，如果你想保持工作负载完全相同，那么你只需要一个耗费0.13GWh的400,000美元GPU服务器来训练一个LLM。本质上，NVIDIA所说的是，您可以仅用4%的成本和1.2%的功耗来训练LLM——与基于CPU的服务器相比，这是一个巨大的降低。

关键词：

上一篇：宣恩高罗：新建便民桥 连起干群心

下一篇：最后一页

精心推荐

X 关闭

资讯

通过购买我们的GPU将CPU培训LLM的成本从1000万美元降至仅400,000美元|天天热讯

行业排行

X 关闭

产业