要約:
プロジェクト開発者によると、Nvidia の GPU アクセラレーションによるフレーム補間機能は、Vulkan API を通じて FFmpeg に統合されています。 FFmpeg は、YouTube を含む多数の最新のマルチメディア処理プラットフォーム、サービス、アプリケーションをサポートする、広く使用されているソフトウェア ツールのセットです。
この新機能により、FFmpeg は、従来のグラフィック レンダリング プロセスを経ることなく、NVIDIA GeForce RTX グラフィック カードを呼び出して次のフレームを予測および生成できます。 NVIDIA はこの機能をビデオ エンコードにも拡張し、ユーザーがフレーム生成テクノロジを通じてビデオ フレーム レートを向上できるようにします。 NVIDIA グラフィックス カードのオプティカル フロー アクセラレータ (NVOFA) は、グラフィックスのレンダリングに使用されるオプティカル フロー ロジックをビデオに適用し、次のフレームを予測し、人工知能が生成した中間フレームを通じてビデオ フレーム レートを向上させます。 NVIDIA では、このプロセスを「エンジン支援フレームレート アップ コンバージョン (FRUC)」と呼んでいます。
FRUC は、従来の意味での単なる画像平滑化アルゴリズムではありません。 NVIDIA の専用オプティカル フロー アクセラレータを使用して、連続するソース フレーム間の動き情報を計算します。 NVENC はエンコード側でフレーム データを提供する役割を果たし、オプティカル フロー ハードウェアは画像内のオブジェクトの動きを記述する動きベクトルを生成します。 FFmpeg は、この動き情報に基づいて中間フレームを合成し、元のコンテンツを再レンダリングすることなくビデオ フレーム レートを効果的に向上させることができます。
このスキームは、ソフトウェアで実装されたフレーム補間よりも効率的です。純粋なソフトウェア補間では、通常、CPU に対する計算要求が大幅に高くなります。新しい Vulkan 実装により、FFmpeg は NVIDIA ハードウェアに直接アクセスできるようになり、2023 年に提出された以前のパッチがプロジェクトにマージされない原因となった独自ソフトウェアの依存関係を回避できます。
NVIDIA はもともと、GeForce RTX 20 シリーズの「Turing」アーキテクチャ時代にオプティカル フロー アクセラレータを発売しました。ただし、Vulkan API に基づく現在の実装は、GeForce RTX 30 シリーズ「Ampere」以降のモデルのみを正式にサポートしています。したがって、この新機能は、GeForce RTX 30、RTX 40、および RTX 50 シリーズのグラフィックス カードのユーザーが利用できます。
GPU を利用したフレーム補間により、ビデオのフレーム レートを 2 倍にすることができます。30 フレームのビデオを 60 フレームで表示でき、映画で一般的な 24 フレームのビデオを 48 フレームに増やすことができます。この機能を使用するには、ユーザーは FFmpeg ツールをローカルで実行するだけで済みます。
コメント