AI モデルが拡大し続けると、HBM はビデオ メモリ容量に対する将来の需要に対応できなくなる可能性があり、業界では GPU 駆動のストレージ アーキテクチャが次の技術フロンティアの可能性があると見なされています。昨年、Nvidia が SK Hynix および Kioxia とそれぞれ協力して AI SSD の開発を推進し、GPU メモリ拡張器として HBM に代わる特注の SSD パーツを使用しているというニュースがありました。さらに、今年SKハイニックスはサンディスクと協力して、AI推論時代の次世代メモリソリューションであるHBF(High Bandwidth Flash)を導入し、同じ問題を解決しました。
TrendForceの報道によると、NvidiaはGPUダイレクトアクセスストレージアーキテクチャの開発を進めており、Vera Rubinプラットフォームからこれを導入し、GIDS（GPU-Initiated Direct Storage Access）機能を有効化する計画だという。部外者は、この変更により HBF の開発が加速される可能性があると考えています。
GIDSは、既存のGDS（GPU Direct Storage）機能とは異なります。 2 つには違いがあります。GDS では、CPU はデータを GPU に送信する前に、データ要求をストレージ デバイスに送信します。 GIDS では、GPU は中間の CPU と DRAM をスキップして、ストレージ デバイスに直接アクセスします。
GIDS と GDS はどちらも、従来のコンピューティング アーキテクチャにおけるデータ伝送のボトルネックを克服することを目的としており、Microsoft と AMD も同様のアプローチを検討していると噂されています。主な問題は、従来のデータ送信方法が非効率であることです。 CPU のスレッド処理構造は限られていますが、GPU は数万の並列スレッドを生成できます。現在、GPU-HBM データ伝送はシステムの総消費電力の約半分を占めており、これにより HBF アーキテクチャがさらにサポートされ、超高速 NAND フラッシュ メモリが GPU に近づき、将来の AI ボトルネックに対処できます。
GIDS の出現により、NAND フラッシュが AI ストレージ システムにおいてより重要な役割を果たすことが可能になると同時に、容量の面で HBM への圧力が軽減される可能性があります。この変化には、GPU の処理速度に追いつくために、より高性能な NAND フラッシュ メモリが必要です。 NAND フラッシュ メモリの利点は、ビット密度が DRAM の約 30 倍であり、同様のスペースでより大きな記憶容量を実現できることです。
ただし、NAND フラッシュ メモリの耐久性には限界がありますが、DRAM の書き込み能力はほぼ無制限です。したがって、データのこの部分は推論プロセス中に基本的に変更されず、読み取り専用ワークロードとしてのみ使用されるため、HBF は AI モデル パラメーターの保存により適していると考えられます。