GoogleやOpenAIら、AI学習制御の共通仕様を2027年導入

OpenAI、Google、Microsoft、Anthropicは、Webサイト運営者がAIの学習可否を指定できる共通仕様の策定を進めます。
robots.txt内で共通の「ポリシートークン」を使い、参加するAIプロバイダー全体への設定を可能にします。
各社は2027年の導入を目指し、OpenAIは今後数カ月以内、Microsoftは2027年2月からの適用を目指します。

記事の概要

robots.txtは、検索エンジンなどのクローラーによるWebサイトへのアクセス可否を示すファイルです。
現在はAIサービスごとにクローラーを識別し、企業ごとにルールを管理する必要があります。
今回の共通仕様では、Webサイト所有者がrobots.txt内で共有の「ポリシートークン」を使用します。
これにより、参加するAIプロバイダー全体にわたって、AI学習などに関する設定を指定できるようにします。
Googleの「Google-Extended」では、検索向けのクロールを許可しながら、Geminiによる学習を拒否できます。
この仕組みは、Internet Engineering Task Force（IETF）のAI Preferencesワーキンググループで協議します。
Googleは2027年の導入を予定し、OpenAIは今後数カ月以内、Microsoftは2027年2月からの適用を目指します。
共通仕様の導入後も、各社独自のクローラー制御や、より細かな設定は継続します。

記事のポイント

1. 共通トークンを採用： Webサイト運営者は、robots.txtに共有の「ポリシートークン」を記述して設定できます。
2. 各社の制御も継続： 共通仕様の導入後も、Google-Extendedなど各社独自の制御機能は残ります。
3. 導入時期に差： OpenAIは今後数カ月以内、Microsoftは2027年2月、Googleは2027年の導入を目指します。

このニュースがもたらす影響

• Webサイト運営者： AIプロバイダーごとに管理していた学習可否の指定を共通化でき、robots.txtの運用負担を減らせる可能性があります。導入時期の差を踏まえた対応計画が必要です。
• AIサービス提供者： 共通トークンへの対応により、サイト側の学習許可・拒否を受け取る前提がそろいやすくなります。独自制御との役割分担や、設定の反映範囲を明確にする必要がありそうです。
• コンテンツ事業者： 検索向けのクロールとAI学習を分けて許可・拒否する運用が、複数のAIサービスに広げやすくなると考えられます。自社コンテンツの利用方針を整理する契機になりそうです。

このニュースの背景

現在は、Webサイト運営者がAIサービスごとにクローラーを識別し、個別のルールを管理する必要があります。
Googleでは、検索向けのクロールを許可しながらGeminiによる学習を拒否する設定が可能ですが、サービスごとの制御が前提です。
今回の共通仕様は、IETFのAI Preferencesワーキンググループで協議され、参加するAIプロバイダー全体に設定を伝える仕組みを目指します。
導入後も各社独自のクローラー制御や、より細かな設定は残る予定です。

関連するニュース

• Queue株式会社が、Common Crawlへの保存状況やAIボットのアクセス制限を確認できる無料診断ツールを公開しました。
• OpenAIはChatGPTとCodexの生成文に、EU AI法への対応として電子透かしを導入します。
• melaはDeepCVとChatGPT広告を連携し、LINEやCRM上の成果を広告最適化に活用します。

詳しい記事の内容はこちらから（引用元）

Impress Watch

AI学習の可否をrobots.txtで指定 Google、MS、OpenAIらが共通仕様を27年導入

OpenAIやGoogle、Microsoft、Anthropicは、Webサイトの運営者がrobots.txtを使って…