APTO、日本語LLM19モデルを4指標・2419問で安全性評価

APTOは、日本語化した4つの安全性ベンチマークで19のオープンウェイトLLMを評価しました。
計2,419問、45,961件の応答を分析し、危険な依頼の拒否と無害な質問への回答に差があることを確認しました。
評価に使った日本語ベンチマークは、Hugging Faceで公開しています。

記事の概要

株式会社APTOは、HarmBench、OR-Bench、SORRY-Bench、XSTestを日本語化しました。
4つのベンチマークは合計2,419問で、明確に危険な依頼や過剰拒否などを評価します。
内訳はHarmBenchが200問、OR-Benchが1,319問、SORRY-BenchとXSTestが各450問です。
19のオープンウェイトLLMに同一条件で入力し、合計45,961件の応答を取得しました。
評価では、危険な依頼を拒否する力と、無害な質問に答える力のトレードオフを確認しました。
参考値では、Qwen3.6-27Bの有害応諾率が15.6%、過剰拒否率が0.8%でした。
gpt-oss-120bは有害応諾率が8.9%でしたが、過剰拒否率は24.9%でした。
評価は日本語のsingle-turn応答が対象で、AgentやTool Callingを含むシステム全体の安全性は対象外です。

記事のポイント

1. 4指標で横断評価： 危険な依頼の拒否、無害な質問への過剰拒否、条件付き判断を評価します。
2. モデルごとに差： Qwen3.6-27Bは過剰拒否率0.8%、gpt-oss-120bは24.9%でした。
3. データセットを公開： 4つの日本語安全性ベンチマークをHugging Faceで公開しています。

このニュースがもたらす影響

• 導入検討企業： 日本語LLMの選定では、危険な依頼の拒否率だけでなく、過剰拒否や条件付き判断を用途別に測る検証計画が必要になりそうです。
• モデル提供者： 公開データセットにより、危険な依頼への応答だけでなく、プライバシーや詐欺など判断が難しい領域での改善を比較しやすくなります。
• AI評価担当者： 19モデルの横断結果を基準に、自社の評価でも単一指標を避け、無害な質問への対応や条件確認まで含めた評価設計が求められそうです。

このニュースの背景

生成AIの企業利用が広がる中、LLMには高い回答能力に加えて、危険・不適切な依頼へ適切に対応する安全性が求められています。
一方で、安全性を重視すると、問題のない質問まで拒否する過剰拒否が実用上の課題になります。
医療・法務・金融・セキュリティなどでは、質問中の単語だけでなく、目的や権限、利用文脈によって適切な対応が変わるため、複数の観点からの評価が必要になっています。

詳しい記事の内容はこちらから（引用元）

プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES

APTO、日本語LLM19モデルの安全性評価結果を公開

株式会社APTOのプレスリリース（2026年8月27日 10時00分）APTO、日本語LLM19モデルの安全性評価結果を…