パナソニックHDとパナソニックR&Dカンパニーオブアメリカは、UCLAの研究者らとモバイル業務支援向けの世界モデルを開発しました。
操作後の画面を画像で再現せず、業務に関係する状態変化を自然言語で予測します。
このモデルをAIエージェントに組み込んだ結果、Android端末のタスク成功率が46.9%から54.3%に向上しました。
研究成果は、2026年10月24日から29日まで開催されるEMNLP 2026で発表します。
記事の概要
今回の研究は、パナソニックHD、パナソニックR&Dカンパニーオブアメリカ、カリフォルニア大学ロサンゼルス校の研究者らが共同で実施しました。
対象は、スマートフォンやタブレット上で製造、物流、保守などの業務を支援するAIエージェントです。
従来の世界モデルは画面を画像として予測するため、時刻や通知など操作に関係しない情報も扱う必要がありました。
今回の方式では、「ボタンを押すと設定画面が開く」といった操作後の状態変化を自然言語で予測します。
研究チームは、Android端末での人間の操作軌跡をもとに、約140万件のデータセットMobileWorldを構築しました。
MobileWorldには、画面変化の説明約94.2万件と、質問・回答データ約54.3万件が含まれています。
MobileWorldで追加学習したQwen3-VL-8B-InstructをMobileWorldBenchで評価した結果、既存手法を上回るスコアを獲得しました。
世界モデルをAIエージェントに組み込んでAndroidWorldで評価したところ、タスク成功率はベースラインの46.9%から54.3%に向上しました。
記事のポイント
- 状態変化を予測: 画面全体ではなく、操作に伴う重要な状態変化を自然言語で予測し、次の操作を選びやすくします。
- 約140万件を収録: MobileWorldには画面変化の説明約94.2万件と質問・回答約54.3万件を収録しています。
- 成功率が54.3%に: AndroidWorldで評価した結果、AIエージェントのタスク成功率が46.9%から54.3%に向上しました。
このニュースがもたらす影響
- 導入を検討する企業: 設備管理や在庫、作業記録をまたぐ業務では、画面単位ではなく操作後の状態変化を基準に、エージェントの適用範囲と効果を見極める必要が生じそうです。
- 同領域の競合企業: タスク成功率だけでなく、操作に関係する状態変化をどれだけ正確に予測できるかが、モバイル業務支援エージェントの比較軸になる可能性があります。
- AI開発者: モバイル端末で得た状態予測の手法をウェブサイトやPCアプリへ広げられるかが、複数の業務環境を横断するエージェント開発の検討課題になりそうです。
このニュースの背景
製造・物流・保守の現場では、スマートフォンやタブレット上の操作をAIエージェントが支援・実行する活用が期待されています。
従来の画面画像を予測する方式では、時刻や通知など業務操作に直接関係しない情報も扱う必要がありました。
今回の方式は操作に伴う重要な状態変化を自然言語で予測するもので、約140万件のデータセットと評価用ベンチマークが構築されています。
関連するニュース
- パナソニック ホールディングスは、介護施設の高齢者の健康変化を捉えるAIを開発し、10月から実証実験を始めます。
- パナソニックはGoogleと、住宅機器にGoogle HomeのAI・クラウドを組み合わせる次世代防犯ソリューションで協業します。
詳しい記事の内容はこちらから(引用元)
パナソニックグループのプレスリリース(2026年10月21日 13時40分)パナソニックHD、モバイル業務支援向け世界モ…
https://prtimes.jp/main/html/rd/p/000006929.000003442.html