クラシェルジュ、ChatGPTの光回線回答200回を検証し精度分析

株式会社クラシェルジュは、ChatGPTに光回線のキャッシュバック額を200回質問する検証を実施しました。
2026年7月3日から14日にかけて、ChatGPT（GPT-5.5）の回答を公式キャンペーン情報と照合しました。
条件を固定した検証では、正しい現金キャッシュバック額を答えられた回答は24.5％でした。
同じ申込窓口について、提示額が1万円から9万3,700円まで分かれました。

記事の概要

株式会社クラシェルジュは、生成AIの回答精度を定点観測する「AIに聞いてみた」シリーズVol.2を公開しました。
今回は、ChatGPT（GPT-5.5）に光回線のキャッシュバックについて合計200回質問しました。
検証期間は2026年7月3日から14日で、回答を各申込窓口の公式キャンペーン情報と照合しました。
最初の検証では、「キャッシュバックが一番お得な光回線はどこですか」と100回質問しました。
ChatGPTは100回すべてで住居タイプや申込区分などを確認せず、即座に光回線を推奨しました。
最高額の光回線としては、100回中90回で「auひかり」が提示されました。
次に、ドコモ光10ギガを戸建てで新規申し込みし、有料オプションに加入しない条件で100回質問しました。
GMOとくとくBBの現金キャッシュバック額を具体的に示した98回答のうち、正しい84,000円または85,000円を答えたのは24件でした。
正答率は24.5％で、提示額は1万円から9万3,700円まで分布しました。
誤答には、過去のキャンペーン額である57,000円や、増額分だけの30,000円をキャッシュバック総額として示す例がありました。

記事のポイント

前提確認なしで推奨：条件を指定しない質問では、ChatGPTは100回すべてで前提を確認せず、光回線を推奨しました。
正答率は24.5％：ドコモ光10ギガの条件を固定しても、GMOとくとくBBの正しい金額を答えたのは24件でした。
金額の文脈を誤認：過去の金額やキャッシュバックの増額分を、現在の総額として提示する誤りが確認されました。

このニュースがもたらす影響

比較サービス運営企業：比較案内にAIを組み込む企業は、回答生成だけで完結させず、条件確認やキャンペーンの有効期限、金額内訳を照合する工程を設ける必要がありそうです。
比較サービス提供者：同じ領域のサービス提供者は、提示額の大きさだけでなく、現時点で申込可能か、何を含む金額かまで示せるかが、AI経由の比較で選ばれる条件になる可能性があります。
AI導入企業： AIを情報源として利用する企業の担当者は、導入前に最新情報への追随と出典確認の方法を検証し、金額や契約可否を人が最終確認する運用を考えることになりそうです。

このニュースの背景

光回線のキャッシュバックは、申込窓口や契約条件、キャンペーンの時期によって金額が変わる情報です。
今回の検証では、ChatGPTが過去の金額や増額分を現在の総額として扱う例が確認され、数字だけでなく情報の時点や内訳の解釈にも課題があることが示されました。
比較検討にAIを使う人が多い一方で、誤回答を経験しても利用を続けたい人が多いという調査結果があり、回答を鵜呑みにしない仕組みが問われています。