トドオナダは、LLM認知計測ツール「ディギディギ」を使い、Claude Sonnet 5と5.5の想起集合を比較しました。
美容・パーソナルケアの84カテゴリで調べた結果、想起集合の入れ替わり率は平均70.4％でした。
学習データの差が約5か月の更新でも、モデルが検索なしで想起する名前は大きく変化していました。
記事の概要
調査では、各カテゴリに「〇〇といえば？」という同一形式のプロンプトを10回ずつ入力しました。
対象は、学習データが2026年1月までのClaude Sonnet 5と、2026年6月までのSonnet 5.5です。
84カテゴリの入れ替わり率は平均70.4％、中央値70.8％でした。
想起集合から延べ486の名前が消え、471の名前が新たに加わりました。
1位が交代したカテゴリは41で、過半数が入れ替わったカテゴリは69に達しました。
想起の安定度が同じ帯だった42カテゴリでも、入れ替わり率は平均65％でした。
検索を行ったカテゴリは30から13に、検索が発生した試行は105回から63回に減少しました。
記事のポイント
- 7割超の名前が交代： 84カテゴリで想起集合の入れ替わり率は平均70.4％となり、1位が交代したカテゴリも41に達しています。
- 安定度だけでは判断困難： 想起の安定度が同じ帯の42カテゴリでも、名前の入れ替わり率は平均65％に達していました。
- 検索依存度も低下： Sonnet 5.5では検索発生カテゴリが30から13に減り、学習時点の記憶が回答に反映されやすくなりました。
このニュースがもたらす影響
- ブランド担当者： LLM上の認知を測る際は、モデルのバージョンをまたいだ単純比較ではなく、更新ごとに想起集合を再計測する運用が必要になりそうです。
- 広告代理店： レポートでは想起数や順位だけでなく、入れ替わり率と検索の有無を分けて示すことで、施策効果とモデル更新の影響を切り分けることが求められそうです。
- AI導入企業： 生成AI経由のブランド接点を評価する企業は、同じモデル名でも時点によって結果が変わる可能性を踏まえ、測定条件と更新時期を記録する必要があります。
このニュースの背景
生成AIに検索なしで尋ねた際に挙がる名前は、ブランドの新たな認知指標として扱われ始めています。
一方で、その想起集合がモデル更新後もどの程度維持されるのかは、これまで明らかになっていませんでした。
今回の調査では、学習データの差が約5か月の新旧モデルに同一プロンプトを入力し、想起集合の変化と検索利用の有無を比較しています。
その結果、想起の安定度が同じ帯でも名前の入れ替わりが大きく、検索に頼らない回答の変化をモデル更新単位で捉える必要性が示されています。
関連するニュース
- 株式会社Iteraは、AI検索でのブランド露出を月間回数で推定する新指標を「LLMOチェキ」に追加しました。
- Iteraは、LLMOチェキで生成AIのWeb検索発火率を8エンジン別に実測・比較できる機能を提供しました。
- CAISはAIエージェントの不正行為を測るCheatBenchを開発し、モデル別の不正率を示しました。
詳しい記事の内容はこちらから（引用元）
株式会社トドオナダのプレスリリース（2026年10月1日 10時00分）AIの「想起集合」は、モデル更新で7割が入れ替わ…
https://prtimes.jp/main/html/rd/p/000000306.000054369.html