株式会社トドオナダは、LLMが質問への回答で挙げる企業名や商品名の世代間変化を調査しました。
Claude Opus 4.8とClaude Opus 5に同一質問を各100回投げ、回答項目と順位を集計しました。
ビールと公開中の映画を対象に、想起集合の安定性や国内ニュース報道量との対応を分析しました。
記事の概要
調査では、Claude Opus 4.8とClaude Opus 5をAPI経由で起動し、各条件100回、計800回の質問を実行しました。
対象カテゴリは「ビール」と「公開中の映画」で、質問は各カテゴリ2種類を用意しました。
回答から計7,992項目を抽出し、項目ごとの出現率と平均順位を集計しました。
Claude Opus 5は知識のカットオフが2026年5月で、リリースは2026年7月24日です。
公開中の映画では、Opus 5の上位10件に2025年公開作品が並び、Opus 4.8と共通する作品は0件でした。
一方、ビールでは上位7銘柄が両世代で銘柄と順位ともに一致し、想起集合の安定性が確認されました。
Opus 4.8の上位3件における試行間重複率は、ビールで1.000、公開中の映画で0.511または0.860でした。
同社は、報道量に数か月続く山場があった対象が、不安定な想起集合では上位に現れる傾向も確認したと説明しています。
記事のポイント
- 約2か月で新知識を反映： Opus 5では2025年公開作品が想起され、旧世代と上位10件が共通しない結果になりました。
- 想起の安定性を数値化： 同じ質問を100回繰り返し、回答項目の重複率から想起集合の強固さを測定しています。
- LLMO施策に影響： 知識更新までの期間が短ければ、次世代モデルを見据えた情報発信の検討材料になります。
このニュースがもたらす影響
- 導入を検討する企業： 自社名や商品がLLMに想起されるかを確認する際、出現順位だけでなく回答の試行間重複率も測ることで、次のモデル更新までに優先して情報発信すべき対象を絞り込める可能性があります。
- 広報・マーケ部門： モデルの知識更新が数か月単位で起きるなら、報道量の山場を一度つくるだけでなく、次の学習機会を見据えて継続的な露出と情報の定着を設計する必要が生じそうです。
- LLMO支援サービス： モデル世代やカテゴリごとに想起の安定性が異なるため、施策の成果を掲載数だけで評価せず、複数回の回答における出現率・順位・世代間の変化まで扱う機能が求められそうです。
このニュースの背景
従来は、Web上で発信した情報がLLMの回答に反映されるまで、モデル開発や学習データ化の工程によって年単位の時間差が生じる前提がありました。
一方で、主要LLMでは知識のカットオフから製品リリースまでの間隔が短くなっており、次のモデル更新を見据えた情報発信を検討しやすくなっています。
ただし、カットオフ以前に公開された情報が必ず学習・想起されるわけではなく、データの選別や定着の度合いも影響します。
そのため、モデルの回答を一度確認するだけでは、企業名や商品名が安定して想起される状態かを判断しにくい状況です。
詳しい記事の内容はこちらから（引用元）
株式会社トドオナダのプレスリリース（2026年8月24日 09時00分）LLMのブランド想起のモデル世代間比較調査を実施…
https://prtimes.jp/main/html/rd/p/000000279.000054369.html