ASCII.jp：何これすごい　アリババ、AIで写真をリアルに歌わせる「EMO」

アリババの研究グループが開発したAIフレームワーク「EMO」は、写真と音声データを入力するだけで、表情豊かな音声アバタービデオが生成できます。
さらに、多言語にも対応し、どんな画像でもリアルな動きでアニメーション化できるという驚きの技術です。
今後の公開も期待されています。

記事の概要

アリババの研究グループがAIフレームワーク「EMO」を発表しました。
EMOは1枚の写真と音声データを入力することで、表情豊かな音声アバタービデオを生成することができます。
デモではオードリー・ヘップバーンが歌を歌ったりスピーチをしている動画が紹介されました。
EMOは英語や日本語、中国語などの多言語にも対応しており、さまざまな画像をリアルな動きのアニメーション化することができます。
技術的には2つのエンコーダーを組み合わせて顔の動画を生成し、さまざまな操作で動画の品質を向上させています。
アリババは2023年にも「Animate Anyone」という高品質な動画生成技術を発表する予定で、EMOも近い将来公開されることが期待されています。

記事のポイント

1. EMO： アリババの研究グループが開発したAIフレームワーク「EMO」は、写真と音声データを入力することで表情豊かな音声アバタービデオを生成できる。
2. 多言語対応： EMOは英語だけでなく、日本語や中国語などの多言語にも対応しており、音声の変化から自然な口の動きを生成することができる。
3. 類似技術よりも自然な動き： EMOの動画の動きは、他の類似技術と比較しても最も自然に見える。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

何これすごい　アリババ、AIで写真をリアルに歌わせる「EMO」

アリババの研究グループは2月27日、1枚の写真と歌声や話し声の音声データを入力するだけで、表情豊かな音声アバタービデオを…