米国時間4月23日水曜日のニュースによると、Googleは第8世代テンソルプロセッシングユニット（TPU）が大規模な戦略的調整を開始したことを正式に発表した。初めて、AIモデルの「トレーニング」タスクと「推論」タスクを分離し、2つの独立した独自チップに引き渡すことになる。これら 2 つの次世代プロセッサは、今年後半に市場に投入される予定です。

この動きは、AIハードウェアの分野におけるGoogleとNvidiaの間の新たな競争の始まりを示すものだ。

「なぜコンピューティングパワーの専門化に進むのでしょうか?」 Googleの上級副社長兼AIおよびインフラストラクチャ担当最高技術責任者のアミン・ヴァハダット氏は公式ブログ投稿でこう述べた。 「AI エージェントの台頭により、トレーニングと推論のニーズに合わせて特別に最適化されたチップを提供することが、テクノロジー エコシステム全体に利益をもたらすと私たちは信じています。」

現在、大手メーカーにとって AI の推論速度は主戦場になりつつあります。 3月、Nvidiaは、主にチップ新興企業Groqの200億ドル買収で獲得したテクノロジーのおかげで、モデルがユーザーの質問に迅速に応答できるようにする今後の新しいチップを宣伝した。これに関連して、Google は依然として NVIDIA の主要顧客ですが、クラウド サービス会社に TPU を提供することで、代替のコンピューティング パワー ソリューションを構築しています。

実際、テクノロジー大手が個人的にコアを構築し、独立したコンピューティング能力を追求することが業界のコンセンサスとなっています。基礎となるアーキテクチャを徹底的にカスタマイズすることで、企業は特定のアプリケーション シナリオの運用効率を最大化できます。 Appleが長年にわたってiPhoneに統合してきたNeural Engineから、今年1月に繰り返されたMicrosoftの第2世代AIチップ、そしてBroadcomと協力してさまざまなAIプロセッサを開発しているというMetaの最近の暴露に至るまで、すべてがこの傾向を裏付けている。

この「コアづくりの動き」において、Googleはパイオニアといえるだろう。同社は 2015 年に自社開発の AI プロセッサの導入を開始し、2018 年からクラウド プラットフォームを通じて外部顧客にコンピューティング パワー サービスを提供してきました。比較のために、Amazon AWS は推論専用の Inferentia チップを 2018 年に、トレーニング専用の Trainium プロセッサをそれぞれ 2018 年と 2020 年に発売しました。

投資銀行D.A.のアナリストDavidson氏は昨年9月の報告書で、GoogleのTPU事業とDeepMind AI部門の評価額を合わせて約9000億ドルと見積もった。

現在、NVIDIA は依然として AI コンピューティング市場で絶対的な優位性を占めています。 Google は、このリリースで Nvidia の同様の製品を直接ベンチマークしませんでしたが、独自のパフォーマンス反復データを公開しました。同じコストで、新しいトレーニング チップのパフォーマンスは、昨年 11 月にリリースされた第 7 世代 TPU (コード名 Ironwood) の 2.8 倍であり、新しい推論チップのパフォーマンスは 80% 向上しました。

技術ロードマップでは、業界が満場一致でスタティック ランダム アクセス メモリ (SRAM) に賭けていることは注目に値します。 Nvidia の次期 Groq 3 LPU であれ、今月 IPO 申請を提出したばかりの AI チップのユニコーン Cerebras であれ、それらはすべてこのテクノロジーに大きく依存しています。今回Googleが発売した新しい推論チップTPU 8iもこの流れを踏襲している。 1チップあたりのSRAM容量は384MBと、前世代のIronwoodの3倍となる。

Alphabetの最高経営責任者（CEO）Sundar Pichai氏はブログ投稿で、新しいアーキテクチャの設計目標は「巨大なスループット（Throughput）と低い待ち時間（Latency）を提供し、それによって数百万のAIエージェントが非常に高い費用対効果で同時に実行できるようにサポートする」ことだと指摘した。

端末用途に関しては、GoogleがAIチップの商用化が拡大していることを明らかにした。その中で、マーケットメーカーのシタデル・セキュリティーズは、TPU に基づく定量的調査ソフトウェアを開発しました。米国エネルギー省傘下の17の国立研究所が、このチップをベースにした「AI Co-scientist」システムを本格的に導入している。さらに、AI スタートアップの Anthropic は、Google の数ギガワットの TPU コンピューティング能力リソースの使用を約束しました。