ナレッジセンスがChatSenseのRAG評価で92.2%を記録

株式会社ナレッジセンスは、法人向けRAGサービス「ChatSense」の回答精度が92.2%に達したと発表しました。
Allganizeが公開する日本語データセットを使い、全300問を3回計測した平均値です。
同一データセットと採点方式による公式リーダーボード首位の86.3%を上回りました。

記事の概要

株式会社ナレッジセンスは、法人向け高精度RAGサービス「ChatSense」で回答精度92.2%を達成したと発表しました。
評価には、Allganizeが公開する日本語データセット「Allganize RAG-Evaluation-Dataset-JA」を使いました。
同データセットは、流通・小売、製造、公共、情報通信、金融の5業種から各60問を収録しています。
ChatSenseが実際にユーザーへ提供しているものと同じ構成で、全300問を3回計測しました。
その平均値は92.2%で、同一データセットと採点方式によるAllganize公式リーダーボード首位の86.3%を上回りました。
公式首位の結果は、Alliとclaude3.5-sonnetによる評価です。
採点には、Allganizeが公開している自動採点方式に準拠した方法を使いました。
ChatSenseは社内文書を取り込み、その内容を根拠に回答するRAGサービスで、東証プライム上場企業を含む500社以上に導入されています。

記事のポイント

1. 公開データで評価： 日本語の公開RAG評価データセット「Allganize RAG-Evaluation-Dataset-JA」を使用しました。
2. 5業種の全300問： 流通・小売、製造、公共、情報通信、金融の5業種から各60問を収録しています。
3. 公式首位を上回る： 同一条件の公式首位86.3%を上回り、サービス比較の共通指標を提示しました。

このニュースがもたらす影響

• RAG導入企業： 独自指標だけでは選びにくかったRAGの比較で、公開データに基づく確認を調達時の論点に加えられます。ただし、自社文書での再検証も必要になりそうです。
• 同業サービス提供者： 公開データセットでの評価結果が比較材料になり、各社にはデータや採点条件を明示して結果の再現性を示す対応が求められそうです。導入企業が検証できる形で示すことが、選ばれるための条件になる可能性があります。
• RAG市場全体： 共通データと採点方式が広がれば、サービスの優劣を同じ土俵で見やすくなります。一方、ベンチマークの数値だけでなく、業種別の実運用性能も確認する流れになりそうです。

このニュースの背景

RAGサービスは社内文書を根拠に回答するため、導入企業にとって回答精度が選定時の重要な確認項目になります。
一方で、サービスごとに評価データや採点方法が異なると、各社の性能を同じ条件で比べにくい状況になります。
公開データセットと共通の採点方式を使った評価は、こうした比較の難しさに対応する手段になり得ます。
流通・小売から金融まで5業種の問題を含む評価結果であるため、複数業界での利用を検討する企業にも参照材料になりそうです。

関連するニュース

• ナレッジセンスがChatSenseに、社内RAGの利用状況と作成状況をExcelで一括出力する機能を追加しました。
• ナレッジセンスが社内資料を根拠に引用付きWordレポートを自動生成する機能を近日提供予定です。
• ナレッジセンスが法人向けAIエージェントChatSenseに、回答と根拠PDFを並べて確認できる機能を近日追加します。

詳しい記事の内容はこちらから（引用元）

プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES

法人向けRAG「ChatSense」、回答精度92.2%を達成。業界トップ水準を更新

株式会社ナレッジセンスのプレスリリース（2026年8月17日 13時27分）法人向けRAG「ChatSense」、回答精…