要約:
ソニーは最近、新しい人工知能技術の特許を提出しました。これは、AI を使用してグラフィックス カードがレンダリングを完了する前にゲームの次のフレームを予測することを提案しています。これにより、画面の遅延が軽減され、一部の既存のフレーム生成技術によって引き起こされる追加の遅延問題を回避することができます。特許の説明によると、このシステムは、最後にレンダリングされたフレームとプレーヤーの最新のコントローラー入力情報に基づいて事前に予測画像を生成し、次のフレームが正式にレンダリングされる前にプレーヤーにそれを表示することができます。
このテクノロジーは主に、現在の部分フレーム生成スキームの欠陥を対象としています。既存のソリューションの多くは、フレーム間の補間フレームを計算して生成する前に、2 つの完成したフレームを取得する必要があり、2 番目のフレームが完了するのを待つプロセスにより追加の遅延が発生します。ソニーの新しい方法では、この待機フェーズをスキップし、2 つのフレーム間を補間するのではなく、既存の画像を直接使用して将来の画像を予測しようとしています。
理論的には、この方法では、レンダリング負荷が増加してフレーム レートが低下した場合でも、よりスムーズな画像出力を維持できることが期待されます。ただし、この特許文書には具体的な性能テストの結果が記載されていないため、遅延の改善と最終的な画質に対する実際の影響はまだ検証されていません。
技術的な実装の観点から、ソニーは共同トレーニングされたエンコーダーとデコーダーのアーキテクチャを設計しました。エンコーダは、レンダリングされたイメージをコンパクトな数値表現、つまり埋め込みベクトルに変換する役割を果たします。次に、デコーダはこのデータに基づいて予測画像を生成します。
ゲームの実行中、システムはグラフィック レンダリング パイプラインと同期して動作します。ハードウェアが次のフレームをレンダリングしているときに、AI は前のフレームを同時に処理し、予測結果を表示バッファーに送信します。このようにして、実際のレンダリング フレームが完了する前に予測フレームを表示し、レンダリング ギャップを埋めることができます。
この特許では、モデルが動きベクトルと最新のコントローラー入力データを使用して予測精度を向上できることにも言及しています。モーション ベクトルは画像内のオブジェクトの移動方向と速度を反映し、キー操作はプレーヤーの最新の行動意図を反映します。どちらも、前のフレームだけよりも多くの情報を AI に提供できます。
トレーニング フェーズでは、連続ビデオ フレームをデータ ソースとして使用します。ニューラル ネットワークは、最初にランダムな重みを使用してトレーニングを開始し、画像の 1 フレームを入力として受け取り、次のフレームの予測を試みます。次に、予測結果を実際の後続のフレームと比較し、損失値を通じて誤差を測定し、モデルを継続的に最適化します。
特許の説明によると、システムはトレーニング プロセス中に損失値が設定されたしきい値に達したかどうかを継続的に検出します。連続ビデオ自体が実際の参照画像を提供できるため、トレーニング プロセス全体で手動でデータに注釈を付ける必要はありません。さらに、デコーダはエンコーダが受け取るよりも多くのカラー チャネルを出力します。これは、システムが将来的に一度に複数の予測フレームを生成できることを意味します。
AI ソリューションに加えて、ソニーは人工知能以外の代替案も提案しました。このスキームは、トレーニングされたエンコーダーおよびデコーダー モデルを使用せずに、動き情報に基づいてピクセル ブロックを移動することによって合成フレームを生成します。特許文書では、これらの技術は固定フレーム出力レートを維持しながら画質の低下を回避できると期待されているとも主張しているが、生成されたフレームが実際にネイティブレンダリングと同様の視覚効果を実現できるかどうかはまだ不明である。
業界関係者は、このテクノロジーの重要なテストは、AI が十分な速度で予測画像を正確に生成し、レンダリング パフォーマンスが低下したときにディスプレイの空きをタイムリーに埋めることができるかどうかであると考えています。この特許は実現可能なアイデアを示していますが、実際の効果は今後の製品または技術の実証によって検証される必要があります。
コメント