2023年5月29日星期一牛财金消息，芯片巨头英伟达在中国台北的COMPUTEX展会上推出了其最新的AI高科技产品：用NVLink将256个Grace Hopper超级芯片拼接成一台“AI超级计算机”。

该套件被称为DGX GH200，是一个针对自然语言处理（NPM）系统和图形神经网络的内存密集型人工智能模型进行调整的单一系统。

在英伟达首席执行官黄仁勋将GH200与公司最近推出的DGX H100服务器进行了比较，声称GH200性能高出500倍。然而，这两者并不相似。DGX H100是一个8U系统，具有双Intel Xeons、八个H100 GPU和大约同样多的NIC。DGX GH200是一个基于全英伟达架构的24机架集群，因此不完全可比。

这个超级系统的核心是英伟达的Grace Hopper芯片。该硬件在2022年3月的GTC活动上亮相，使用该公司的900GBps NVLink-C2C接口，将72核Arm兼容的Grace CPU集群和512GB LPDDR5X内存与80GB GH100 Hopper GPU芯片融合在一起。

DGX GH200具有16个计算机架，每个机架有16个节点，配有一个超级芯片。总的来说，DGX GH200平台拥有18432个内核、256个GPU和144TB的“合一”内存。

这对那些希望运行需要存储在内存中的大型模型的人来说是个好消息。例如LLM模型就需要大量内存，但在这种情况下，144TB内存这个数字可能有点夸张。其中只有大约20TB是通常用于存储模型参数的超高速HBM3。其他124TB是DRAM。

在工作负载无法容纳GPU vRAM的情况下，它通常会溢出到速度慢得多的DRAM，而DRAM由于需要通过PCIe接口复制文件而受到进一步的限制。显然，这对性能来说并不好。但是，英伟达似乎正在通过使用非常快的LPDDR5X内存和NVLink（而不是PCIe）的组合来绕过这一限制，LPDDR5X内存每秒可提供半TB的带宽。

今天在台湾举行的COMPUTEX 2023会议上，Nvidia老板黄仁勋将Grace-Hopper比作其公司的H100mega-GPU。他承认H100比Grace-Hopper拥有更大的力量。但他指出，Grace Hopper的内存比H100多，因此效率更高，更适用于许多数据中心。

他说：“把它插入你的数据中心，你就可以扩展人工智能。”

把它们粘在一起

英伟达不仅使用NVLink进行GPU到GPU的通信，还使用它将系统的256个节点粘合在一起。根据英伟达的说法，这将允许非常大的语言模型（LLM）分布在系统的256个节点上，同时避免网络瓶颈。

使用NVLink的缺点是，至少目前，它不能扩展到256个节点以上。这意味着，对于更大的集群，您仍将关注InfiniBand或以太网之类的东西。

尽管有这一限制，但与使用InfiniBand的更传统的DGX H100集群相比，英伟达仍然声称在各种工作负载上都有相当大的加速，包括自然语言处理、推荐系统和图神经网络。

英伟达表示，一个DGX GH200集群能够提供大约1亿次的峰值性能。在纯HPC工作负载中，性能将大大降低。当利用GPU的张量核心时，FP64工作负载的峰值性能约为17.15 PB。

如果该公司能够在LINPACK基准中实现这一目标的合理比例，那么单个DGX GH200集群将跻身前50名最快超级计算机之列。

热量决定设计

英伟达没有回答我们关于热管理或功耗的问题，但考虑到集群的计算密度和预期受众，我们几乎可以肯定会考虑风冷系统。

即使没有该公司正在研究的液体或浸没冷却，英伟达也可以使集群更加紧凑。

在去年的Computex上，该公司展示了一款2U HGX参考设计，带有两个Grace Hopper超级芯片插片。使用这些机箱，英伟达本可以将所有256个芯片打包到八个机架中。

我们怀疑，由于数据中心的电源和冷却限制，英伟达对此避而不谈。请记住，英伟达的客户仍然需要在他们的数据中心部署集群，如果他们需要对基础设施进行重大更改，这将是一个艰难的推销。

仅英伟达的Grace Hopper芯片就需要大约1千瓦的电力。因此，在不考虑主板和网络消耗的情况下，每个机架的冷却功率约为16千瓦，仅用于计算。对于许多习惯于冷却6-10千瓦机架的数据中心运营商来说，这已经是一个很大的数字了，但至少在合理的范围内。

考虑到集群是作为一个单元销售的，我们怀疑考虑DGX GH200的客户类型也考虑了热管理和功耗。据英伟达称，Meta、微软和谷歌已经在部署集群，预计2023年底前全面上市。

使用Helios扩展

我们之前提到，为了将DGX GH100扩展到256个节点之外，客户需要采用更传统的网络方法，而这正是英伟达即将推出的Helios“AI超级计算机”所要展示的。

虽然目前细节还很少，但Helios实际上只是使用该公司的400Gbps Quantum-2 InfiniBand交换机粘合在一起的四个DGX GH200集群。

在COMPUTEX英伟达还发布了SPECTRUM-4，这是一款将以太网和InfiniBand结合在一起的巨大交换机，带有400GB/s的BlueField3智能网卡。该交换机和新的智能网卡将使人工智能流量能够通过数据中心并绕过CPU，从而避免一路上的瓶颈。

Helios预计将于今年年底上线。虽然英伟达强调其在FP8中的人工智能性能，但该系统应该能够提供大约68 PB的峰值性能。这将使其与法国的 Adastra系统大致持平，截至上周，该系统在500强排行榜上排名第12。

上周四（25日），英伟达公布了明显高于华尔街预期的季度营收预测，此后该公司股价在一天内飙升24%。季度报告表明，营收的上涨主要受惠于云计算平台和大型科技公司对GPU芯片的需求。

相关阅读

光伏SNEC展会TOPCon产品抢眼，HJT还能否逆袭？