オープンソースウィーク 3 日目の 2 月 26 日、DeepSeek は効率的な FP8GEMM ライブラリ DeepGEMM のオープンを発表しました。過去 3 日間の DeepSeek のリリースはすべてアルゴリズムに関連しており、より技術的なものです。

大型模型エコロジーコミュニティOpenCSG（オープンエクスプレッション）の創始者チェン・ラン氏は中国ビジネスニュースに例を挙げ、「かつてディープシークは直接車を与え、その車の航続距離は900キロメートルだと皆に伝えていたが、現在ディープシークはどうすれば900キロメートルまで走行できるのかを研究中である」と述べた。 DeepSeek のモデルがより良い結果を達成できる理由は、いくつかのアルゴリズムと対応するフレームワークがあり、これらの「足場」のオープンソースが将来のエコロジー構築に役立つからです。


今回公開されたキーワードのうち、GEMM（General Matrix Multiplication）は線形代数の基本演算であり、FP8GEMMは行列の乗算に8ビット浮動小数点数を使用する計算演算です。 FP8 は、ディープラーニングやハイパフォーマンス コンピューティングに適した低精度浮動小数点形式です。高いコンピューティング効率を維持しながら、メモリ使用量と帯域幅要件を削減できます。

DeepSeek によると、DeepGEMM は従来の高密度モデルと MoE (Mixed Expert) モデルの GEMM 操作の両方をサポートしています。このコードは、NVIDIA Hopper アーキテクチャ (H100GPU など) に基づいた V3/R1 シリーズ ハードウェアの効率的なトレーニングと推論のサポートを提供します。

DeepSeek は、このコード ベースに基づいて、コンピューティング能力を最大限に活用し、NVIDIA Hopper アーキテクチャの GPU で 1350+FP8TFLOPS (1 秒あたりの浮動小数点演算) のパフォーマンスを達成できると述べました。同時に、コード ベースの設計は非常にシンプルで、コア カーネル関数が 1 つだけでコード サイズが約 300 行ですが、ほとんどの行列サイズで専門家によって調整されたカーネルよりも優れたパフォーマンスを発揮します。

オープンソース DeepGEMM の影響は何ですか?記者は DeepSeek にこの質問をしたところ、DeepGEMM は FP8 とハードウェア レベルの最適化を通じて大規模モデルのコンピューティング効率とリソース消費の問題点を解決し、特に MoE モデルの実装に重要なサポートを提供したと回答しました。そのオープンソースの行動は、テクノロジーの民主化を加速するだけでなく、AI コンピューティング エコシステムの「インフラストラクチャ」となり、より効率的で低コストの方向への業界の発展を促進する可能性があります。

FP8 は、AI コンピューティングの新たな標準です。その高い効率により、数千億のパラメータ モデルのトレーニングが加速され、ビデオ メモリの要件が軽減されます。エッジ デバイスまたはクラウドに導入すると、FP8 の低精度計算によりスループットが大幅に向上し、コストが削減されます。したがって、オープンソースの DeepGEMM は、FP8 エコロジーの普及を促進し、開発者が使用する敷居を下げ、より多くのフレームワークとモデルを FP8 に適応させ、業界の低精度コンピューティングへの移行を加速することができます。

さらに、MoE モデルは計算が複雑であるため実装が困難です。 DeepGEMM のオープン ソースは、効率的な実装リファレンスを提供しており、これにより、より多くの MoE アプリケーション (マルチモーダル モデル、エッジサイドの効率的なモデルなど) につながる可能性があります。

DeepSeekの3日連続のオープンソースコードベースについて、Chen Ran氏は記者団に対し、「我々はこれにかなりショックを受けている」と語った。 DeepSeek の最終目標は、R1 と V3 がどのように作られるかを示すことです。彼は、DeepSeek が現在リリースしているアルゴリズムは、ある意味で「足場」であると考えています。 「誰もが DeepSeek に基づくテクノロジーラインを使い続けられるように、そして最終的には業界がこれに基づいてエコシステムを構築できるように、私たちはすべての人に『足場』を提供する必要があります。」

Chen Ran 氏は、長期的には、DeepSeek のオープンソースへの取り組みは非常に有意義であると信じています。エコシステムが成長できるように、モデル標準、ツール標準、およびエコロジーの基礎の両方を備えています。

Chen Ran 氏は、DeepSeek のコードのオープンソースが AIInfra レイヤーに取り組む実務者のグループに影響を与える可能性があると判断しました。 「DeepSeek は基本的に技術スタックとモデルを提供しますが、データが不足しています。ただし、他の企業もデータを再現する可能性があります。AIInfra レイヤーの人々は新しい方向性を見つける必要があります。」しかし同氏は、この種のオープンソースは諸刃の剣でもあるとも述べた。 DeepSeek のオープンソース コンテンツをうまく活用できれば、メリットも得られるかもしれません。 「上手に使わないと殴られますよ。」

一部の実務者は、DeepSeek のオープンソースはインフラ層の推論高速化であると記者団に語った。 DeepSeek の基盤技術のオープンソースは実務者に影響を与えるでしょうが、それほど大きくないかもしれません。

「DeepSeek の業界への影響はまだ始まったばかりで、結果は誰にも予測できません。」と前述の実践者は語った。

DeepSeekは以前、5つのコードライブラリを順次オープンソース化すると発表していた。次に、DeepSeek は今週さらに 2 つのコード ライブラリをリリースする予定です。 「共有されたコードのすべての行が、AI 業界の発展を加速するための集合的な動機となるでしょう。」 DeepSeekは発表の中でこう述べた。