Joe Rogan ポッドキャストの最近のエピソードで、NVIDIA CEO のジェンスン ファンは、ディープ ラーニングの起源と会社の運命に関する重要な転換点を次のように回想しました。ディープ ラーニングの画期的な進歩は 2012 年に始まり、AI 用に設計されていない 2 枚の GTX 580 グラフィックス カードの SLI デュアルカード相互接続構成に依存していました。
Huang Renxun 氏は、今日の AI の中核となるディープ ラーニングと、その基本ネットワークの最初の動作に使用されるハードウェアが、Fermi アーキテクチャに基づいた 512 個の CUDA コアを搭載したハイエンド ゲーム グラフィックス カード GTX 580 であることを明らかにしました。
このグラフィックス カードはもともとトップレベルのゲーム用に設計されましたが、その強力な並列コンピューティング機能は、意図せずして急速なディープ ラーニング トレーニングの基礎となっています。
2012 年、トロント大学の研究者 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton は、2 枚の 3GB GTX 580 グラフィックス カードを使用して、有名な AlexNet モデルをトレーニングしました。
約 6,000 万のパラメータを備えたこのディープ ラーニング ネットワークは、当時手動で設計されたアルゴリズムに対して 70% という驚くべき優位性を示し、その年の ImageNet 画像認識コンテストで際立っていました。
Huang Renxun 氏は、AlexNet の開発者が 2 台の GTX 580 で並行して実行できるようにアルゴリズムを最適化し、必要な場合にのみデータを交換することで、トレーニング時間が大幅に短縮されたと指摘しました。これにより、GTX 580 は深層学習/機械学習 AI ネットワークを実行する世界初のグラフィックス カードにもなりました。
興味深いことに、このマイルストーンに到達した時点では、NVIDIA の AI 分野への投資は最小限であり、研究開発のほとんどは依然として 3D グラフィックスとゲームに焦点を当てていました。
NVIDIA がディープ ラーニングの大きな可能性を認識したのは、GTX 580 での AlexNet のアプリケーションの成功でした。 Huang Renxun 氏は、同社は 2012 年に直ちに資金調達、開発、研究の取り組みを深層学習技術に移したと述べた。
この変革は最終的に、2016 年のオリジナルの NVIDIA DGX スーパーコンピューター、第 1 世代の Tensor コアを備えた Volta アーキテクチャ、そしてその後の DLSS テクノロジーにつながりました。
