パナソニックHD、自然言語で画面変化を予測する世界モデル開発

パナソニックHDとPRDCAは10月21日、UCLAと共同で、モバイル端末上の操作結果を自然言語で予測する世界モデルを開発したと発表しました。
この技術をAIエージェントに組み込んだところ、Android端末上のタスク成功率は46.9％から54.3％に向上しました。
製造や物流、保守の独自アプリを横断する業務への適用を目指します。

記事の概要

パナソニック ホールディングス（パナソニックHD）とパナソニック R＆D カンパニーオブアメリカ（PRDCA）は、カリフォルニア大学ロサンゼルス校（UCLA）と世界モデルを開発しました。
世界モデルは、環境の状態や変化を学習し、現在の操作後に起きる状態を予測するAI技術です。
今回の手法では、画面を画像として再現せず、「設定画面が開く」などの重要な変化を自然言語で予測します。
チームはAndroid端末の操作軌跡を基に、約140万件の学習データセット「Mobile World」を構築しました。
性能評価用のベンチマーク「Mobile WorldBench」も開発し、視覚言語モデル（VLM）で半自動的にラベルを付けました。
評価では、追加学習したオープンソースの視覚言語モデル「Qwen3-VL-8B-Instruct」が、GPT-4oなど既存手法を上回りました。
AndroidWorldでのタスク成功率は46.9％から54.3％に向上し、PCのウェブブラウザー環境でも45.4％から49.3％に向上しました。

記事のポイント

1. 自然言語で状態変化を予測： 画面全体を画像として生成せず、操作後に起きる重要な状態変化を自然言語で予測します。
2. 約140万件のデータを構築： Android端末の操作軌跡から学習データセットを作り、VLMで半自動的にラベルを付けました。
3. 業務アプリ横断を目指す： 製造の検査登録、物流の在庫更新、保守の点検記録などへの適用を目指しています。

このニュースがもたらす影響

• 導入を検討する企業： 独自アプリを個別に学習させる前に、自然言語で業務画面の変化を扱えるかを検証し、複数アプリをまたぐ自動化の設計を考えやすくなります。
• AIエージェント提供者： 画面画像の再現精度だけでなく、操作後に起きる重要な変化の予測精度が競争軸になり、業務アプリへの適応方法を見直す必要が生じそうです。
• 製造・物流・保守企業： 現場担当者が複数の独自アプリで行う登録・更新・記録業務について、エージェントに任せる範囲と人が確認する工程を具体化する契機になりそうです。

このニュースの背景

製造・物流・保守の現場では労働力不足を背景に、スマートフォンやタブレット上の業務アプリをAIエージェントが操作する期待が高まっています。
一方、企業独自のシステムは大規模言語モデルの学習データに含まれにくく、初見の画面で操作結果を正確に見通すことが難しい状況でした。
従来のように操作後の画面を画像として予測する手法では、操作に直接関係しないレイアウトや通知なども生成する必要があり、学習データと計算コストが課題になっていました。

関連するニュース

• パナソニック ホールディングスは、介護施設の高齢者の健康変化を捉えるAIを開発し、10月から実証実験を始めます。
• パナソニック デジタルがWisOCRにAIエージェントによる帳票データ照合機能を追加します。
• パナソニックはGoogleと、住宅機器にGoogle HomeのAI・クラウドを組み合わせる次世代防犯ソリューションで協業します。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

パナソニック、言葉で画面変化を予測--AIエージェントの操作成功率を高める「世界モデル」開発

パナソニック ホールディングスとパナソニック R＆D カンパニーオブアメリカは、カリフォルニア大学ロサンゼルス校（UCL…