Google Research、かなり自然なテキスト→動画生成AI「Lumiere」発表 – ITmedia NEWS

Google Researchが開発した「Lumiere」は、テキストや画像から自然な動画を生成するAIです。
1024×1024ピクセルの5秒間の動画を一度に生成したり、参照画像でスタイル変更や部分変換も可能です。
初心者でもビジュアルコンテンツを創造的に生成できる一方、悪意ある使用法を防ぐためのツールを開発する重要性も考慮されています。

記事の概要

Google Researchは、自然なテキストや画像からなめらかな動画を生成するAIモデル「Lumiere」を発表した。
Lumiereは、従来のモデルとは異なり、時間全体を一度に生成することができる時空間U-Netアーキテクチャを使用しており、1つのなめらかなプロセスで動画全体を生成する。
また、スタイル変更や部分変換なども可能であり、トレーニングデータには3000万本の動画とテキストキャプションが使用されたという。
Googleは、この技術の悪用を防ぐために安全性を確保するためのツールの開発が重要だと述べている。

記事のポイント

1. Lumiereは、Google Researchが開発したリアルな動画生成AIモデルであり、テキストや画像からなめらかな動画を生成できる。
2. Lumiereは、従来のモデルとは異なり、動画の時間的継続全体を一度に生成する時空間U-Netアーキテクチャを導入しており、空間と時間の両方を同時に処理できるように設計されている。
3. Lumiereは、生成した動画のスタイルを参照画像で変更したり、動画修復機能で一部分を変更したりすることも可能である。

詳しい記事の内容はこちらから（引用元）

ITmedia NEWS

Google Research、かなり自然なテキスト→動画生成AI「Lumiere」発表

Google Researchは、「リアルな動画生成のための時空拡散モデル」の「Lumiere」を発表した。テキストある…