一般に最も見落とされている要素の 1 つであるデータセンター ネットワークは、実際にはノード間のすべての通信を担当します。ただし、NVIDIA は、数百万の GPU を備えたデータ センターが目前に迫っており、最速の AI モデルを実現するには、たとえ複数の施設にまたがっても相互接続する必要があることを認識しています。そのため、NVIDIA は本日、地理的に分散した複数のデータセンターを 1 つに相互接続するように設計された Spectrum-X ネットワーキング プラットフォームの拡張機能である Spectrum-XGS Ethernet を発表しました。AIスーパーファクトリー。
同社によれば、Spectrum-XGS は、キャンパス、都市、大陸全体で予測可能な低遅延のパフォーマンスを実現する距離認識ネットワーキングを導入することで、単一施設の容量制限を解消します。
このテクノロジーは主に、新しいシリコンではなく、既存の Spectrum-X スイッチおよび ConnectX SuperNIC へのソフトウェアおよびファームウェアのアップデートを通じて提供されます。 Spectrum-XGS は、長距離リンクに最適化された自動調整の輻輳制御、ジッターを最小限に抑える正確な遅延管理、包括的なエンドツーエンドのテレメトリを提供し、オペレーターが複数のサイトにわたるネットワーク トラフィックを視覚化して制御できるようにします。
NVIDIA の報告によると、これらの改善により、マルチ GPU、マルチノードのトレーニング ジョブおよび大規模実験の NCCL (Collective Communication Library) スループットがほぼ 2 倍になり、分散型 AI ワークロードがより効率的になりました。 NVIDIA は、Spectrum-XGS を AI インフラストラクチャの新たな成長軸として位置付けています。サーバー内のスケーリングとデータセンター内のスケーリングに続き、クロススケールのスケーリングによって施設が統合されたコンピューティング ファブリックに接続されます。
ハイパースケール事業者は、このアプローチを採用する準備を進めています。 CoreWeave は、複数の施設を Spectrum-XGS で接続する最初の企業の 1 つとなります。同社は、分散サイトをスーパーコンピューターとして使用し、顧客にギガビット規模の実験や本番トレーニングの実行のためのより大きな総容量と合理化された運用を提供します。
Spectrum-XGS は Spectrum-X プラットフォームの一部であり、Hot Chips カンファレンスでデモンストレーションされました。詳細はホットチップスカンファレンスで発表される予定だが、大陸規模の大規模なトレーニング実施はもはや夢物語ではない。 Spectrum-XGS のようなソリューションでは、唯一の空 (およびグリッド) が限界です。