要約:
DRAM の供給不足が続く影響を受け、AI 業界は「計算能力の限界」から「メモリの限界」に移行しつつあります。報道によると、Googleは廃止されたサーバーを解体し、まだ使用できるDDR4メモリモジュールをリサイクルし、一部の新しく構築されたAIサーバーで再利用することを開始し、社内のメモリリサイクルサプライチェーンを徐々に確立しています。
Google のサプライ チェーン インフラストラクチャ担当シニア ディレクターである Nikhil Cherian 氏は、最近サミット フォーラムで、高性能メモリが現在 AI サーバーの部品表コストの約 75% を占めていることを明らかにしました。メモリのボトルネックを打破するために、Google は、使用停止になったサーバーの解体や使用可能なコンポーネントのリサイクルなど、ソフトウェア レベルとハードウェア レベルの両方のソリューションを推進しています。
Google は、DDR4 などの前世代のメモリ ソリューションを新世代 AI サーバーに接続できるようにするために、特別に設計されたハードウェア アダプタも用意しています。 Cherian 氏はまた、Google が DDR4 メモリ モジュールを取り外すためだけに、一部の廃止されたサーバーを特別に本国に送還する予定であることも認めました。
同時に、Google は、基礎となる関数ライブラリ、モデル アーキテクチャ、KV キャッシュ圧縮テクノロジの最適化を継続して、コンピューティング能力の単位あたりに必要なメモリ容量を削減します。
Google は今年 2 つの TPU ASIC バージョンを発表しました。そのうちの TPU8t は主に AI モデルのトレーニングに使用され、TPU8i は推論タスクに最適化されています。パフォーマンスのボトルネックを解消するために、TPU8i は高度にカスタマイズされた多層メモリ設計を採用しています。
各 TPU 8i チップには 288GB HBM3e メモリが搭載されており、毎秒 8.6TB という超高メモリ帯域幅を提供できます。このチップには、外部システム メモリへの頻繁なアクセスを避けるために、アクティブなキーと値のキャッシュを保存するための 384 MB のオンチップ SRAM も統合されています。
サーバー ホスト部分では、TPU 8i サーバーは従来の x86 メイン プロセッサを完全に廃止し、Arm アーキテクチャに基づいて Google 独自にカスタマイズされた Axion プロセッサを使用します。 Axion プロセッサは高速 DDR5 メモリ アーキテクチャに依存しており、主にデータの前処理などのホスト レベルのタスクを担当します。
しかし、Cherian 氏の最新の声明によると、Google は一部の新しい AI サーバーで、当初搭載されるはずだった DDR5 モジュールの代わりに古い DDR4 メモリを使用したようです。具体的なサーバー範囲と関係する DDR4 モジュールの数はまだ明らかにされていません。
コメント