ゴムマリは10月20日、社内文書を検索して回答するRAGの評価サービスを始めました。
業務場面ごとに正解と出典付きの質問を作り、社内AIの回答を採点します。
誤答の原因を分類し、改善する順番まで報告します。
記事の概要
ゴムマリ株式会社は2026年10月20日、専門業務AI-BPOの新メニューとして「RAGの評価データセット作成」の提供を始めました。
社内文書の原本から、業務場面ごとの質問と正解を作成し、正解には文書名やページ、条項などの出典を付けます。
作成した質問を利用企業の社内AIに実際に入力し、回答を正答・誤答・出典違いに分類して採点します。
誤答は、文書の崩れ、検索の取りこぼし、回答の誤りに分け、改善する順番を示します。
評価セットは、モデルや検索設定、参照文書を変更した後に、同じ条件で効果を比較する用途にも使えます。
価格は50万円からで、納期の目安は1週間です。専用システムの導入や操作習得は必要ありません。
同社は、RAGを導入済みと答えた人が17.8%だったDigeonの2025年調査も紹介しています。
文書や設定、モデルを変更した後の毎月の測り直しには、業務AIエージェント導入を利用できます。
記事のポイント
- 業務別に正答率を測定: 社内文書から正解と出典付きの質問を作り、規程確認などの場面ごとにRAGへ質問して、正答・誤答・出典違いを採点します。
- 誤答原因を3分類: 誤答を文書の崩れ、検索の取りこぼし、回答の誤りに分け、正答が増えると見込む順に改善箇所を提示します。
- 50万円から1週間目安: 価格は50万円からで、納期の目安は1週間です。専用システムを導入せず、既存の社内AIをそのまま評価します。
このニュースがもたらす影響
- 導入企業: 業務場面ごとの正答率と誤答原因が手元に残れば、全社展開を急がず、AIに任せる業務と人が確認する業務を分けて導入計画を組めるようになると考えられます。
- AI運用担当: モデルや検索設定を変える際、同じ質問で前後を比べられるため、担当者は高性能そうな変更ではなく、正答率を増やす施策へ予算と工数を振り向けやすくなりそうです。
- RAG提供者: RAGを提供・構築する側には、回答生成だけでなく、文書・検索・回答のどこを直すかまで説明できる運用支援が、導入後の継続利用を左右する要件になる可能性があります。
このニュースの背景
Digeonの2025年調査では、RAGを導入済みと答えた人は17.8%にとどまり、導入できない理由として「どの業務に使えるか分からない」「技術的知識・人材の不足」が挙がっています。
社内AIの精度確認は、担当者が思いついた質問を数問試す方法に偏りやすく、誤答が文書・検索・回答のどこに起因するかを切り分けにくい状況でした。
モデルや検索設定、参照文書を変えた後に同じ質問で比較できなければ、改善の効果や、任せてよい業務の範囲を判断しにくいため、再利用できる評価の物差しが求められていました。
関連するニュース
- ゴムマリが製品マニュアルを項目単位で構造化し、AIの正答数まで測定するサービスを始めました。
- ゴムマリは、散在する社内文書を構造化し、根拠付きで回答するAIエージェントを初期50万円から提供します。
- ゴムマリは、形式を問わず請求書を読み取り、会計取込データと要確認一覧を返すAIエージェントを提供開始しました。
詳しい記事の内容はこちらから(引用元)
ゴムマリ株式会社のプレスリリース(2026年10月20日 10時00分)ゴムマリの専門業務AI-BPO、『RAGの評価デ…
https://prtimes.jp/main/html/rd/p/000000034.000185093.html