メモリ価格の高騰と引き続き厳しいサプライ チェーン状況の影響を受け、NVIDIA は、次世代 Vera Rubin NV72 (特に VR200 NVL72) キャビネット レベルの人工知能 (AI) システムのメモリ構成を大幅に削減することを計画しています。
GF Securitiesが発表した最新の分析レポートによると、この動きは、高帯域幅メモリ（HBM4）やLPDDR5Xなどの主要コンポーネントの価格高騰によって引き起こされるコスト圧力に対処することを目的としている。以前、NVIDIA は、業界で広範なメモリ不足が発生する前に長期供給契約を締結しており、需要と供給の不均衡の影響に耐えることができましたが、コンポーネントのコストがますます高くなり、同社は依然として仕様の調整を余儀なくされていました。
Nvidia の Vera Rubin NVL72 キャビネットは、世界で最も強力な AI システムの 1 つとみなされています。このシステムは今年 1 月に初めて一般に発表され、その後、クラウド サービス プロバイダー CoreWeave が公開したテスト データで驚くべきコンピューティング パフォーマンスを実証しました。混合エキスパート モデル (MoE) ワークロード下では、Blackwell AI GPU を使用する前世代のシステムは、150 メガワットの消費電力で 1 秒あたり 80,000 トークンのスループットを達成できましたが、新しい VR200 NVL72 Vera Rubin プラットフォームではこの数値が直接 10 倍増加し、1 秒あたり 800,000 トークンに達します。
ただし、非常に強力なパフォーマンスを実現するには、ハードウェアのコストが高くなります。投資調査機関のバーンスタインは以前、メモリ価格の高騰により、NVL72 Rubin キャビネット 1 台の実際のコストは 910 万米ドルに達する可能性があり、初期のメモリ見積もりに基づいた業界の以前の推定値 780 万米ドルをはるかに上回る可能性があるとのレポートを発表しました。バーンスタイン氏はさらに、次世代 HBM4 メモリの価格が 2027 年までに 1 GB あたり 53 ドルに高騰する可能性があると予測しています。
メモリ市場では供給のボトルネックと高コストに直面しており、GF Securitiesの分析レポートは、NVIDIAが仕様を削減することで課題に積極的に対応していると指摘した。 VR200 NVL72 キャビネットでは、LPDDR5X サプライ チェーンへの負担を軽減するために、NVIDIA はデフォルトの SOCAMM (Small Pressure Attachment Memory Module) 仕様を元の 192GB モジュールから 96GB モジュールに半分に削減する予定です。さらに、Vera CPU の全体のメモリ容量は、当初計画の 54TB ～ 55TB から約 28TB に大幅に削減され、各 CPU も 96GB SOCAMM モジュールを使用します。 GPU に関しては、各キャビネットは引き続き 20.7 TB の HBM4 高帯域幅メモリを使用します。
財務的な観点から見ると、ダウンサイジングによりシステム コンポーネントの部品表 (BOM) が大幅に削減されます。 GF Securities は、LPDDR5X メモリ容量が半分になれば、VR200 関連の LPDDR5X のコストは当初の見積もりの 120 万米ドルから 586,000 米ドルに削減できると述べています。容量がさらに元の 4 分の 1 に削減された場合、コストは 29 万 3,000 米ドルにまで削減される可能性もあります。分析によれば、上記の仕様調整が行われない場合、メモリコストはVR200システムの総部品表コストの29％（約210万米ドル）にまで高騰し、メモリコストを20％以内に抑えるというNVIDIAの理想レベルをはるかに超えてしまうという。この柔軟で合理化された構成により、NVIDIA は、キャビネット全体のコストを妥当な範囲内に制御しながら、高スループットのコンピューティング能力の利点を維持することが期待されます。