全力機械は、スマートフォンのブラウザで動く音声合成と実写リップシンクのAIモデルを公開しました。
音声合成のZEN-TTSとリップシンクのZEN-LipSyncは、端末のWebGPUで実行できます。
サーバー側で処理する場合もGPUを必要とせず、CPUサーバーで動作します。
両モデルやアバター、SDKは、同社のGitHubで公開されています。
記事の概要
全力機械が公開したのは、音声合成モデルのZEN-TTSとリップシンクモデルのZEN-LipSyncです。
スマートフォンのSafariやChromeで、実在人物の映像に音声を同期させる処理を実行できます。
同社によると、ユーザーが話し終えてから約0.3秒で応答できます。
AIの回答生成はクラウドのLLMが担い、音声合成やリップシンクは端末またはCPUサーバーで処理できます。
同社の試算では、同時接続100の場合、GPU構成の月額303万円に対し、CPU構成は月額53.8万円です。
iPhone AirのSafariでは、ZEN-LipSyncが約146fpsで動作し、会話に必要な毎秒25フレームを上回りました。
ZEN-TTSは31MBのモデルで、Intel XeonのCPU1スレッドにおける合成速度はRTF 0.042でした。
SDKとともに、マリン、キッカ、ハシロウなどのアバターやTTSモデルも公開されています。
記事のポイント
- 端末で処理を完結： 音声合成とリップシンクをスマートフォンのWebGPUで処理し、通信遅延とGPUサーバー費用を抑えます。
- CPU構成にも対応： 端末性能に依存しない構成として、4コアのCPUサーバーで同時50セッション規模を処理できます。
- SDKを商用公開： ZEN-TTS、ZEN-LipSync、アバター、SDKを公開し、リンク表示を条件に商用利用にも対応します。
このニュースがもたらす影響
- 導入を検討する企業： AIアバターを導入する企業は、GPUサーバー前提の構成だけでなく、端末WebGPUとCPUサーバーを使い分ける設計を検討し、利用端末の性能や接続数を要件に加える必要がありそうです。
- AIアバター事業者： SDKやモデル、アバターが商用利用可能になったことで試作の初期負担が下がり、今後はモデル自体の保有より、教育や接客など用途別の体験設計と業務連携が差別化要因になる可能性があります。
- AIインフラ担当者： 音声合成とリップシンクをCPUや端末へ分散できるため、同時接続数に応じたGPU増設以外の選択肢が生まれます。費用だけでなく、応答速度と端末対応範囲を合わせて構成を評価することが求められそうです。
このニュースの背景
これまでのAIアバターは、音声や映像の生成をクラウドのGPUサーバーで処理する構成が一般的でした。
この構成では、同時接続数に応じたGPU費用に加え、映像と音声を外部へ送る通信の往復による遅延が生じます。
今回のモデルは対象動画に特化して軽量化され、音声合成とリップシンクをスマートフォンのWebGPU、またはCPUサーバーで処理できる設計です。
AIの回答生成はクラウドのLLMが担うため、すべての処理を端末内で完結させるのではなく、処理ごとに実行場所を分ける構成になっています。
関連するニュース
- EmbodyMeがAIアバター「DigiSelf」を刷新し、0.33秒の応答とリアルタイム会話を提供します。
- アドバンスト・メディアは、写真から顧客役AIアバターを作る機能を追加しました。
- GeeXai株式会社がVtkoolでGPT-Live-1に対応し、法人向けのリアルタイム音声対話を提供します。
詳しい記事の内容はこちらから（引用元）
全力機械株式会社のプレスリリース（2026年10月27日 14時30分）世界初！世界最速！スマホのブラウザで音声合成と実…
https://prtimes.jp/main/html/rd/p/000000020.000052416.html