テスラのイーロン・マスク最高経営責任者（CEO）が中国のAI企業キミの最新研究結果を公に称賛したことを受けて、キミの公式アカウントは本日、「あなたのロケットも悪くない！」とユーモラスな口調で反応した。最近、Kimi チームは技術レポートを発表し、ディープラーニングの分野で 10 年近く使用されてきた従来の残差接続の破壊的な再構築を実現する新しいアテンション残差メカニズムを提案し、すぐに世界的な注目を集めました。
従来の残留接続は、「固定等重み累積」を使用して情報を送信します。層の数を増やすと、浅い情報が希薄になり、学習効率が低下し、安定性が低下する可能性があります。
キミのイノベーションは、AI に「インテリジェント フィルター」をインストールすることに相当し、Transformer のアテンション メカニズムをモデルの深さの次元に移行することで、各層が以前は有用だった情報を動的に選別し、冗長性を減らし、伝送効率を向上させることができます。
メモリの過負荷を避けるために、チームは「注意残留ブロック」戦略を設計しました。モデルがブロックに分割された後、安定性を確保するために従来の累積がブロック内に保持されます。ブロック間では動的な重み付けが使用され、推論遅延の増加は 2% 未満にとどまり、パフォーマンスと効率のバランスが取れています。
実際の測定によると、48B パラメータ モデルのトレーニング効率は 1.25 倍向上し、科学的推論と数学的質問応答スコアはそれぞれ 7.5% と 3.6% 向上し、従来のモデル トレーニングの不均衡問題を効果的に解決しました。
うるさいことで知られるマスク氏は研究結果を転送し、「キミの仕事は印象的だ」とコメントした。彼の xAI は再構築の過程にあり、この認識はその技術的な重要性を示しています。
さらに、「推論モデルの父」として知られる OpenAI の元研究担当副社長、ジェリー・トゥレク氏も「ディープラーニング 2.0 がやってくる」と書いています。
