Stellagent株式会社は、家電量販店5社の返品・保証ポリシーについて、主要AIサービス5種の回答精度を調査しました。
2026年7月21日に、5社・5AI・4シナリオによる100の質問パターンを評価しました。
正答は60.0%でしたが、15.0%の質問で実害リスクを含む誤答が確認されました。
出典に問題がある質問パターンは62.0%に達し、正答率だけでは安全性を測れない結果になりました。
記事の概要
Stellagent株式会社は、ビックカメラ、ヨドバシカメラ、ヤマダデンキ、ケーズデンキ、エディオンの5社を調査しました。
対象AIはChatGPT、Claude、Gemini、Perplexity、Microsoft Copilotの5種です。
各社の公式FAQ、規約、保証ページを正答基準として保存し、同一形式のプロンプトで回答を比較しました。
評価対象は5社×5AI×4シナリオの100パターンで、AI回答ログは合計268件になりました。
主判定は正答60件、誤答25件、回答不能15件で、誤答のうち15件には実害リスクが含まれました。
AI別の正答率はChatGPTとMicrosoft Copilotが65.0%、Claudeが60.0%、GeminiとPerplexityが55.0%でした。
一方、出典に問題を含む割合はMicrosoft Copilotが20件中19件、ChatGPTが20件中8件でした。
記事のポイント
- 正答率は60.0%: 主要AI5種の主判定は正答60件、誤答25件、回答不能15件となりました。
- 出典問題が顕在化: 存在しないURLなどの出典問題は62件で、Microsoft Copilotでは95.0%に達しました。
- 保証案内に弱点: 長期保証の年数・補償率は正答率48.0%で、4シナリオ中で最も低くなりました。
詳しい記事の内容はこちらから(引用元)
Stellagent株式会社のプレスリリース(2026年7月22日 10時00分)家電量販店の返品・保証を質問、主要AI…
https://prtimes.jp/main/html/rd/p/000000030.000131348.html