本日、Moore Threads は次のように正式に発表しました。ムーアスレッド初の国産1,000カンマ1,000億モデルトレーニングプラットフォーム、ムーアスレッドKUAEインテリジェントコンピューティングセンターの除幕式が無事に開催されました。この動きは次のことも意味します国産のフル機能の GPU をベースとした国内初の大規模コンピューティング クラスターが正式に開始されました。
Moore Thread CEOのZhang Jianzhong氏は、Moore Threadがチップからグラフィックスカード、クラスターに至るインテリジェントコンピューティング製品ラインを構築したと述べた。フル機能の GPU の複数のコンピューティングの利点を利用して、大規模なモデルのトレーニングと推論に対する増大するニーズを満たすことができます。
レポートによると、Moore Thread KUAE インテリジェント コンピューティング センター ソリューションは、フル機能の GPU をベースとしています。大規模な GPU コンピューティング能力の構築と運用管理の問題を統合的な提供方法で解決することを目的としています。
このソリューションはすぐに使用できるため、従来のコンピューティング能力の構築、アプリケーション開発、運用および保守のプラットフォーム構築にかかる時間コストが大幅に削減され、商業運用のための市場への迅速な立ち上げが実現します。
現在、Moore Thread は、LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、Yuyan などを含む、さまざまな主流の大規模モデルのトレーニングと微調整をサポートしています。
Moore スレッド KUAE キロカル クラスターに基づいて、70B ～ 130B のパラメーターを使用した大規模なモデルのトレーニングでは、線形加速率が 91% に達することがあります。計算能力利用率は基本的に変わりません。
2,000億件の学習データを例にとると、Zhiyuan Research Institute の 700 億パラメータ Aquila2 は 33 日でトレーニングを完了できます。 1,300 億のパラメータを持つモデルは、56 日でトレーニングを完了できます。