MLCommons は、60 億パラメータの大規模言語モデルおよびコンピュータ ビジョンおよび自然言語処理モデル GPT-J に対する MLPerf 推論 v3.1 のパフォーマンス ベンチマーク テストの結果を正式に発表しました。 Intel CPU プロセッサと AI アクセラレータは優れたパフォーマンスを発揮し、AI 推論において非常に競争力があります。
以前に公開された MLCommonsAI トレーニング結果と 6 月の HuggingFace パフォーマンス ベンチマーク テスト結果は、Intel Gaudi2AI アクセラレータが高度な視覚言語モデルにおいて NVIDIA H100 アクセラレータのパフォーマンスを完全に上回ることができることを示しました。NVIDIAH100/A100の唯一の実現可能な代替手段と言えます。、最新の結果はこれを再度裏付けています。
GPT-J モデルでは、Intel Gaudi2 アクセラレータの GPT-J-99、GPT-J-99.9 サーバー クエリとオフライン サンプル推論のパフォーマンスは、それぞれ 78.58 回/秒と 84.08 回/秒です。
競合製品と比較すると、H100 は Gaudi2 と比べて 1.09 倍 (サーバー)、1.28 倍 (オフライン) のパフォーマンス上の利点しかありません。 Gaudi2 は、A100 と比較して、2.4 倍 (サーバー)、2 倍 (オフライン) のパフォーマンス上の利点があります。
言及する価値があるのは、Gaudi2 によって送信された結果は、99.9% の精度で FP8 データ型を使用します。
Gaudi2 ソフトウェアは 6 ～ 8 週間ごとに更新され、引き続き MLPerf ベンチマークのパフォーマンスを向上させ、モデルの対象範囲を拡大します。
同時に、Intel は、GPT-J モデルを含む、SapphireRapids 第 4 世代 Xeon スケーラブル プロセッサに基づく 7 つの推論ベンチマーク テストを提出しました。
結果は、第 4 世代 Xeon が、視覚、言語処理、音声および音声翻訳モデル、さらにより大規模な DLRMv2 深層学習推奨モデルや ChatGPT-J モデルを含む一般的な AI ワークロードを処理する際に非常に優れたパフォーマンスを発揮することを示しています。
今のところ、インテルは依然として、業界標準の深層学習エコシステム ソフトウェアを使用して CPU の結果を公開している唯一のベンダーです。
最新の結果によると、GPT-J を使用して、約 1,000 ～ 1,500 ワードのプレス リリースを要約する場合、第 4 世代 Xeon は、オフライン モードで 1 秒あたり 2 段落、リアルタイム サーバー モードで 1 秒あたり 1 段落を完了できます。
また、インテルが Xeon CPUMax プロセッサーの MLPerf テスト結果を初めて提出は、最大 64 GB の HBM3 高帯域幅メモリを統合しており、GPT-J で 99.9% の精度を達成できる唯一の CPU であり、非常に高い精度が要求されるアプリケーションに非常に適しています。
購入ページにアクセスしてください:
インテル旗艦店