Google、テキストプロンプトに基づいてリアルな画像や動画を作成する生成 AI Lumiere を発表

Google は、テキストベースのコマンドでよりリアルな画像やビデオを作成できる新しい生成 AI ツールである Lumiere をリリースしました。 Lumiere の優れた点の 1 つは、途切れることなくリアルな動きを生成できることです。これが可能になるのは、実際に最初にキーフレームを使用してからアクションの進行方法を学習するためにキーフレームをトレーニングするのではなく、ソフトウェアがすべてのビデオ フレームを同時に作成するためです。

これは印象的ではないように聞こえるかもしれませんが、最新の生成人工知能ツールの助けを借りて、さらに前進して素晴らしい作品を作成することができます。

Lumiere は、拡散確率モデルを使用して画像を生成することもできます。これを時空間 U-Net と組み合わせます。知らない人のために説明すると、U-Net は時間的なズームインおよびズームアウトを実現し、画像にアテンション ブロックを追加するアーキテクチャです。最も優れている点は、この新しい生成 AI ツールが他の多くのモデルで使用できることです。これにより、これまでに見たものよりもリアルな画像やビデオを作成できるようになります。