MLPerfの最新GPT大規模モデル推論テストがリリースされました！この国内のコンピューティングパワー企業は、NVIDIA H100 の最大 1.8 倍のパフォーマンスで、再び世界第 1 位にランクされています。 ChatGPT などの AIGC アプリケーションが大規模モデルの波を引き起こすにつれて、インフラストラクチャとしてのコンピューティング パワー レイヤーが最初に恩恵を受ける業界となりました。
しかし、企業が大規模モデルを実装する際には、高い計算能力需要や高コストといった問題が共通の悩みの種となっており、AIの今後の開発を制限する可能性が高まっています。大規模モデルのパラメータは日々増加している一方で、計算能力のボトルネックが差し迫っており、両者の間に大きな矛盾が生じています。
より優れた大規模モデルのコンピューティングパワーソリューションをどのように探索するかが業界の焦点です。
最近、世界的に権威ある評価MLPerfが最新の推論評価結果を発表しました。 MLPerf が GPT 大規模モデル推論テストを導入するのはこれが初めてです。参加率は新記録に達し、NVIDIA、Intel、Google、Qualcomm などの企業から 13,500 件を超えるパフォーマンス結果が提出されました。
MLPerfInference3.1 では、MoffetAI S30 コンピューティング カードが大型モデル GPT-J (60 億パラメータ) で 1 位にランクされ、シングル カード、4 カード、および 8 カードのコンピューティング能力で 1 位にランクされました。
これでInk CoreはMLPerfで3年連続のタイトル防衛となる。
以前、インクコアはMLPerfInference2.0と2.1で2年連続1位を獲得しました。
インク コア S30 コンピューティング カード
インク コアの成果は、大規模モデル コンピューティング パワー ソリューションに実現可能な革新的な方向性をもたらしました。
AI モデルとコンピューティング プラットフォームを組み合わせたハードウェアとソフトウェアの共同イノベーションにより、より大きなコンピューティング能力の可能性が解き放たれることが事実によって証明されています。 これは、スパースコンピューティングに代表される革新的な技術が、ラージモデル時代のコンピューティング能力開発の鍵となることを改めて証明しています。
インク コアは MLPerf オープン パーティションに参加します。主催者のMLCommonsによれば、このパーティションはイノベーションを促進するために設計されているという。したがって、出場者はソフトウェアとハードウェアのコラボレーションを通じてコンピューティング能力を向上させる方法を模索できます。
MLPerf の GPT-J ラージ モデルでは、4nm プロセスの H100 純粋なハードウェア アクセラレーション ソリューションと比較して、12nm プロセスの Ink Core S30 コンピューティング カードは、「独自のデュアル スパース アルゴリズム + ハードウェア コラボレーション」アプローチを通じて最大 1.8 倍の利点を達成しました。
この評価における GPT-J モデルは生成 AI モデルです。 Ink Core S30 コンピューティング カードのパフォーマンスは、8 カード、4 カード、およびシングルカード モードでそれぞれ 170.5 です。 9、91.57、23.28 (サンプル/秒)、NVIDIA H100 の 1.6 倍、1.8 倍、1.8 倍のパフォーマンスに達し、AIGC タスクにおけるインク コア製品の機能を実証しています。
が3回優勝しました。大型モデルのコンピューティング能力は最初に「論文を提出」し、ソフトウェアとハードウェアのコラボレーションは革新を続けました。 Ink Core の製品強度は MLPerf によって何度も厳密にテストされており、大規模モデルのコンピューティング能力の開発のための新しい道も模索されています。
01
希少なスパースコンピューティング - 大型モデルの「潜在在庫」が市場を獲得認識
インクコアの優れた結果は、主にスパースアルゴリズムに基づいたソフトウェアとハードウェアの協調設計によるものです。
大規模モデルの時代では、スパース コンピューティングの重要性は自明のことです。AI モデルのサイズは、そのスパース化の可能性に正比例します。
つまり、モデルが大きくなるとアルゴリズムが疎になる可能性が高くなり、疎な計算の高速化の度合いも高くなります。一般的な大規模言語モデルの場合、スパース コンピューティングは数十倍の高速化を実現できます。
Inkcore の独自のデュアル スパース アルゴリズムと、ソフトウェアとハードウェアの協調設計を組み合わせることで、Inkcore の Antoum® チップは、最大 32 倍のスパース性をサポートする世界初の高スパース倍率 AI チップになりました。これが、この MLPerf における Inkcore の記録破りの鍵となります。
モデルが大きければ大きいほど、スパース コンピューティングの利点はより明白になります。特に、GPT などの大規模モデルのパラメータがしばしば数百億または数千億に達する現在の状況では、インク コアの堀がより安定します。
インク コアの製品力とスパース コンピューティングの一般的な傾向は、業界でも認識されています。 インク コアの商品化プロセスは、次々と重要な進歩を遂げ、企業の AI アプリケーションの加速を支援しています。
つい最近、Ink Core は正式に ByteMLPerf をサポートするサプライヤーの 1 つになりました。
出典: ByteMLPerf Webサイト
プロジェクトアドレス: https://github.com/bytedance/By teMLPerf/blob/main/README.md
現在、Ink Core AI コンピューティング プラットフォームは、BLOOM、OPT、GPT-J、LLaMA、StableDiffusion などを含む、さまざまなパラメーター レベルの大規模モデルをサポートできます。
同時に、高スループット、低遅延、低消費電力という特性を備えており、コンピューティング能力の問題を軽減し、真に「使いやすく」「手頃な価格」の大型モデルのコンピューティング能力ソリューションを企業にもたらします。
02
はコンピューティング能力に根本的な変化をもたらし、スパースコンピューティングはLidaモデル開発を支援します
インク コアのスパース コンピューティング ソリューションは、現在のコンピューティング能力の問題を軽減するだけでなく、AI の持続可能な開発のための新たなスペースを切り開くことができます。
スパース コンピューティングにより AI モデルの計算量が削減されます。つまり、大規模なモデルでは、あまり多くの計算量を生成することなく、パラメーターの数を数桁増やすことができます。モデルパラメータの大規模化と計算能力のボトルネックの間の矛盾は根本的に解決されることが期待されています。
同時に、計算量の削減により、大規模モデルの高い計算能力要件、高消費電力、高コストの問題点も解決され、「win-win」の効果を実現しました。
インクコアAntoumチップ：世界初の高スパース倍率AIチップ、最大32倍のスパースをサポート
TAGPH5 23 回連続の MLPerfs の優れた結果は、インク コア製品の強さを証明するだけでなく、業界に新たな啓示をもたらしました: スパース コンピューティングなどのテクノロジの助けを借りて、大規模モデルの開発とアプリケーションは、より広い開発スペースをもたらし、あらゆる分野で AIGC やその他のアプリケーションの普及を加速すると予想されます。
03
TAGPH 59MLPerfについてMLPerfによって開始されましたチューリング賞受賞者のデイビッド・パターソン氏が、Google、スタンフォード、ハーバード大学などのトップ学術機関と協力して実施したこのテストは、急速に増大する AI コンピューティングの要件とパフォーマンスをタイムリーに追跡および評価するための、最も権威と影響力のある国際的な AI パフォーマンス ベンチマーク テストです。