OpenAI は最近、推論プロセス、特にソフトウェア開発や他のソフトウェア システムとのモデルの対話などの特定のユースケースにおける、NVIDIA の最新世代の人工知能チップの一部のパフォーマンスに不満を抱いています。同社は、既存のハードウェアでは応答速度の点で需要を満たすことができないと考えており、昨年から計画的に代替品を探してきた。これにより、最も有名な AI モデリング会社と同社が長年依存してきた中核サプライヤーとの関係が複雑化しています。

レポートでは、大規模モデルのトレーニング用の GPU 分野では Nvidia が依然優位に立っているものの、OpenAI の戦略的焦点は、モデルがエンドユーザーに回答を出力する操作の部分である推論段階に傾いていると指摘しました。この関連では、レイテンシとスループットのパフォーマンスはユーザー エクスペリエンスとコスト構造に直接関係しているため、OpenAI は一部のワークロードを高帯域幅で低レイテンシの推論シナリオにより適した新しいチップに転送できることを期待しています。

OpenAI と NVIDIA は当初、約 1,000 億米ドル相当の投資と供給の取り決めを進めていました。NVIDIA は、今後数年間に OpenAI に大規模な先端チップ リソースを提供しながら、投資を OpenAI の株式と交換することを計画していました。この協定は外界からは「完了した協定」とみなされており、当初は近くまとまると予想されていたが、現在交渉は数カ月延期されている。これは、一方では、OpenAI が AMD などのメーカーと新しい GPU 調達または協力協定を結んだためであり、他方では、製品ロードマップの変更がコンピューティング リソースの種類と割合の需要に影響を与えたためです。

公の場での声明では、双方は依然として協力関係のポジティブなイメージを維持するために最善を尽くしている。 NVIDIA CEO の Jen-Hsun Huang 氏は最近、OpenAI との緊張関係を否定し、不和の主張を「全くのナンセンス」と呼び、同社は依然として OpenAI に大規模な投資を行う予定であると強調した。 NVIDIA は、パフォーマンスと総所有コストの面で依然として利点があるため、顧客は引き続き推論ワークロードに同社製品を選択していると述べています。 OpenAIの広報担当者はまた、同社は推論クラスターの「大部分」を依然としてNVIDIAに依存しており、後者が依然として推論パフォーマンスと費用対効果でリードしていると信じていると述べた。

しかし、状況に近い複数の情報筋は、OpenAI が特定カテゴリの推論タスクにおける Nvidia ハードウェアの速度に満足しておらず、コード生成などの製品における経験が限られていると考えていることを明らかにしました。この目的を達成するために、OpenAI は、既存の GPU クラスターを補完するものとして、将来の推論コンピューティング能力のニーズの約 10% を満たすことができる新しいハードウェアを導入することを計画しています。その過程で、同社はCerebrasやGroqなどの新興企業と交渉を行っており、推論高速化における彼らの専門知識を活用したいと考えている。

技術レベルでは、OpenAI は可能な限り多くのオンチップ スタティック メモリ (SRAM) を同じチップに統合するアーキテクチャに焦点を当てています。このタイプの設計により、コンピューティング ユニットがパラメータや中間データにアクセスするパスが大幅に短縮され、大量のリクエストを処理する際のチャットボットやその他の AI システムの応答速度が向上します。対照的に、Nvidia と AMD の従来の GPU は外部ビデオ メモリに依存しているため、推論フェーズ中のメモリ アクセスの遅延が増加し、チップが長時間「データ待機」状態になります。

このボトルネックは、プログラマー向けのプログラミング製品である OpenAI 内で最も直感的に現れます。社内の一部の人々は、エクスペリエンスの欠点の一部は GPU ベースのハードウェア アーキテクチャにあると考えており、プロのユーザーの速度に対する高い感度を満たすには、構造上の利点を備えた推論チップを探す必要があると考えています。 CEOのサム・アルトマン氏も1月末にメディアとのやりとりの中で、企業ユーザーはコードベースのモデルを使用する際に速度を「非常に重視する」が、一般のチャットボットユーザーは応答速度に対する許容度が比較的高いと述べた。

推論の速度を向上させるために、OpenAI は最近 Cerebras と提携し、ハイエンド顧客の低遅延ニーズを満たす重要な部分とみなされている新世代のコンピューティング プラットフォームを提供しています。同時に、業界関係者らは、Anthropic の Claude や Google の Gemini などの競合他社が、展開において Google が自社開発したテンソル プロセッシング ユニット (TPU) にさらに依存していると指摘しました。このタイプの専用チップは、推論や複雑な推論タスクにおいて汎用 GPU に比べてパフォーマンス面で一定の利点があり、AI ハードウェア競争の新たなラウンドにおいて Nvidia に対する圧力も増大しました。

顧客の需要の変化と新たな競争に直面しているため、NVIDIA も率先して、Cerebras や Groq を含む高帯域幅 SRAM アーキテクチャに重点を置くチップ企業のグループと連絡を取り、買収や綿密な協力の可能性を模索しています。 Cerebras は最終的に買収という選択肢を拒否し、代わりに OpenAI と商業契約を締結しました。 Groq はかつてコンピューティング サービスを提供するために OpenAI と交渉し、約 140 億米ドルの評価額で資本注入することに投資家の関心を集めました。

しかし、昨年12月、Nvidiaは約200億ドルの対価でGroqテクノロジーの非独占的ライセンス契約に達し、Groqからチップ設計チームを次々と引き抜いてきた。この取引後、Groq のビジネスの焦点はクラウド ソフトウェア販売に移り、Nvidia はこれを、急速に進化する AI 業界における推論高速化テクノロジの欠点を埋めるための自社の製品ロードマップの重要な補足とみなしました。