NVIDIA TensorRT はパフォーマンスを 2 倍にし、すべての RTX グラフィックス カードをサポートします

NVIDIA は、TensorRT AI 推論アクセラレーション フレームワークが GeForce RTX グラフィック カードで利用可能になり、DirectML の直接 2 倍のパフォーマンスを実現したと発表しました。TensorRT は、NVIDIA が発表した推論オプティマイザーで、AI モデルの動作効率を大幅に向上させることができます。今回、NVIDIA は TensorRT を RTX プラットフォームに導入し、すべての RTX グラフィックス カード ユーザーがより高速な AI パフォーマンスを享受できるようにします。

NVIDIA によると、TensorRT はネイティブ Windows ML をサポートするだけでなく、各 AI 機能を実行する適切なハードウェアを自動的に選択し、対応する実行プロバイダーをダウンロードできるため、開発プロセスが大幅に簡素化されます。

性能面では、NVIDIA は、TensorRT と DirectML の比較データを示しました。ComfyUI では、TensorRT を使用するユーザーは最大 2 倍のパフォーマンス向上が得られます。 DaVinci Resolve と Vegas Pro では、パフォーマンスの向上は 60% に達します。

さらに、TensorRT for RTX は、ライブラリ ファイル サイズが 8 倍小さいことや、各 GPU のオンザフライ最適化など、他の利点ももたらします。これらの改善により、パフォーマンスが向上するだけでなく、ソフトウェアのストレージと管理も最適化されます。

RTX 用 TensorRT は 6 月に正式にリリースされる予定です。 NVIDIA は AI SDK の拡張も継続しており、現在 150 以上の AI SDK のサポートを提供しています。今月は、LM Studio、Topaz Video AI、Bilibili、AutoDesk VRED、Chaos Enscape を含む 5 つの新しい ISV 統合が開始されます。