DeepSeek は、超高速のロングコンテキストのトレーニングと推論のための NSA を発表しました。それによると、NSA は、超高速のロングコンテキストのトレーニングと推論のための、ハードウェア整合性があり、ネイティブにトレーニング可能なスパース アテンション メカニズムです。
NSA は最新のハードウェア向けに最適化された設計により、パフォーマンスを損なうことなく事前トレーニングのコストを削減しながら推論を高速化します。
一般的なベンチマーク、ロングコンテキストのタスク、命令ベースの推論に関しては、完全注意モデルと同等かそれを上回ります。
担当編集者：劉明良