エーアイセキュリティラボは、セキュリティ特化モデルの評価結果を発表しました。
「ASL-Cyber-Flash」は、脆弱性解析ベンチマークCyberGymのLevel 1で、Model-focused部門の首位スコアを上回りました。
全1,507タスクで再現成功率86.07％を記録し、NVIDIA B300 1基で約240ドルで完走しました。
記事の概要
エーアイセキュリティラボは9月10日、独自開発モデル「ASL-Cyber-Flash」の評価結果を公表しました。
CyberGym Level 1の全1,507タスク中、1,297タスクで検証済み成功を達成しました。
評価はPass@1で実施され、複数試行やアンサンブルは使っていません。
Web検索系ツールとtest-time memoryを無効にし、修正済みリポジトリと正解PoCも秘匿しました。
モデルはDeepSeek社の「DeepSeek-V4-Flash-0731」をベースに、独自データセットでSFTを施しています。
同モデルは自社vLLM環境で、NVIDIA B300 1基と約30 GPU時間を使って評価されました。
同社は今後、得られた知見をWebアプリケーション脆弱性診断ツール「AeyeScan」に還元する方針です。
記事のポイント
- 評価スコアと条件： 全1,507タスクで再現成功率86.07％を記録し、Pass@1の厳しい条件で評価しています。
- 特化学習の構成： DeepSeek-V4-Flash-0731を基盤に、脆弱性再現タスク向けの独自データセットでSFTを実施しています。
- オンプレミス適用： 外部APIに依存せず、コードを社外へ持ち出せない環境でも運用できる構成を示しています。
このニュースがもたらす影響
- 導入検討企業： コードを社外に出せない企業は、外部API以外の選択肢として、オンプレミスでの脆弱性解析を検討しやすくなります。導入前には自社コードでの再現性や運用コストの確認が求められそうです。
- セキュリティ事業者： 脆弱性診断サービスでは、モデル性能だけでなく、Pass@1での成功率やタスク単価まで示すことが競争上の論点になる可能性があります。診断エンジンへの反映時期も比較材料になりそうです。
- AIモデル開発者： 大規模化だけでなく、領域特化データの設計が性能を左右するという見方が強まりそうです。一方、評価条件や測定環境の違いで単純比較は難しく、再現可能な検証手法が求められます。
このニュースの背景
ベースモデルに脆弱性再現タスク向けの独自データセットでSFTを施し、CyberGymで評価する構成が取られています。
CyberGymは実在の脆弱性データを基に、コード解析から概念実証の自動生成までを検証するフレームワークです。
今回の評価では外部検索やtest-time memoryを使わず、単一GPUの自社環境で全タスクを実行しており、同社は得られた知見をAeyeScanへ還元する方針です。
関連するニュース
詳しい記事の内容はこちらから（引用元）
株式会社エーアイセキュリティラボのプレスリリース（2026年9月11日 11時30分）自社開発のセキュリティ特化モデル「…
https://prtimes.jp/main/html/rd/p/000000095.000051317.html