ASCII.jp：グーグル、AI生成動画に合わせて音声やBGMを作る技術を発表

グーグルが開発したAI生成動画に音声を追加する技術「V2A」。
リアルタイムで動画に合わせた音声やBGM、効果音が生成されるという驚きの仕組みです。
ただし、動画の品質やキャラクターのリップシンクには注意が必要です。

記事の概要

Google DeepMindは、動画のピクセルデータから音声を生成する技術「Video-to-Audio（V2A）」を発表しました。
この技術により、無音のAI生成動画に自然な音声や音楽、効果音、セリフを追加することが可能になります。
V2Aは動画の内容を解析し、動きやタイミングに合わせて適切な音声をリアルタイムで生成できます。
高品質な音声を生成するため、V2Aモデルは追加情報を付加した動画や音声データでトレーニングされています。
ただし、オーディオ出力の品質はビデオ入力の品質に依存するため、問題点もあります。

記事のポイント

1. AI生成動画に音声やBGMを自動生成する技術「Video-to-Audio（V2A）」が発表された。
2. V2Aは動画の内容を解析し、適切な音声をリアルタイムで同期させることが可能である。
3. V2Aモデルは高品質な音声を生成し、特定の音を発生させる能力を持っており、音声や動画データでトレーニングされている。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

グーグル、AI生成動画に合わせて音声やBGMを作る技術を発表

Google DeepMindは6月17日、動画のピクセルデータから音声を自動生成する技術「Video-to-Audio…