Googleは19日(米国時間)、Mac版GeminiアプリにPC操作機能を追加しました。
「Computer use」は、ユーザーの指示に応じてAIが複数のPC作業を代行する機能です。
米国で順次提供を始め、日本での提供時期は未定です。
記事の概要
Computer useは、ローカルファイルやデスクトップアプリ、Webサイトを横断して操作する機能です。
Geminiがクリック、文字入力、メニュー操作、フォーム入力などを代行します。
複数の手順が必要な作業も、ユーザーの指示に応じて自動実行できます。
Geminiは隔離されたバックグラウンドウィンドウで動作します。
作業の進行状況は、チャット画面内のライブプレビューで確認できます。
ユーザーはGeminiがアクセスできるアプリを選び、作業の一時停止もできます。
重要な操作では、実行前にユーザーへ承認を求める仕組みを備えています。
Googleは2025年10月に開発者向けの「Gemini 2.5 Computer Use model」をプレビュー提供し、2026年6月には「Gemini 3.5 Flash」にも統合していました。
記事のポイント
- PC操作を横断して代行: ローカルファイル、デスクトップアプリ、Webサイトをまたぎ、クリックや入力、フォーム操作などを複数手順にわたり代行します。
- 確認と承認に対応: 作業は隔離されたバックグラウンドウィンドウで進み、ライブプレビューで確認しながら一時停止や重要操作の承認ができます。
- 具体的な活用例: 写真の一括調整、3Dシーン構築、PDF情報の配送フォーム入力、フリマ出品準備などに対応します。
このニュースがもたらす影響
- 導入検討企業: 複数のアプリやローカルファイルをまたぐ定型業務を洗い出し、対象アプリの制限や承認が必要な操作を含めて、段階導入の可否を検討することになりそうです。
- 自動化サービス提供者: API連携だけでは扱いにくかった既存ソフトやWebフォームまで自動化の対象になり得るため、画面操作への対応や、作業の確認・停止機能が差別化要件になる可能性があります。
- 情報システム部門: AIに許可するアプリや重要操作の承認ルールを事前に定め、ライブプレビューや一時停止を含む運用手順を、社内のPC作業へ適用する前に整理する必要がありそうです。
このニュースの背景
Googleは2025年10月に開発者向けのComputer Useモデルをプレビュー提供し、2026年6月にはGemini 3.5 Flashにも統合していました。
これまでモデルやAIエージェントで進めてきたPC操作の自動化を、今回はMac版Geminiアプリから直接利用できる形に広げています。
ローカルファイル、デスクトップアプリ、Webサイトをまたぐ作業には、アクセス範囲の設定や重要操作の承認が必要になるため、実行状況を確認できる仕組みも組み込まれています。
関連するニュース
- GoogleがApple CarPlayでGeminiを提供し、メールや予定を音声で確認できるようにしました。
- GoogleはGeminiに、電話予約や請求明細の分析、AP2による買い物などを代行するタスク実行機能を追加しました。
- グーグルがGemini Notebookに、資料をもとに操作可能なWebサイトを作る機能を追加しました。
詳しい記事の内容はこちらから(引用元)
Googleは19日(米国時間)、Mac版Geminiアプリに、AIがPCを操作して作業を自動実行する「Computer…
https://www.watch.impress.co.jp/docs/news/2158164.html