AI生成の脆弱性パッチの7割以上に問題あり–過信の危険性 – ZDNET Japan

1Passwordのセキュリティ研究チーム「Off-By-1-Labs」は8月6日、LLMが生成する脆弱性パッチの調査結果を公開しました。
6件の脆弱性を対象に合計6080回のパッチ生成を試したところ、適切なパッチは26％にとどまりました。
一方で、動作変更や新たなバグの追加を含む問題は計74.9％に達し、AI生成パッチを過信する危険性が示されました。

記事の概要

1Passwordの新しいセキュリティ研究チーム「Off-By-1-Labs」は、米国時間8月6日に調査結果を公開しました。
研究では、AIや大規模言語モデル（LLM）に新しく複雑な脆弱性の修正プログラムを生成させました。
チームは当初、最先端AIモデルなら約67％の成功率を達成できると仮説を立てていました。
検証では、学習データに含まれていないと考えられる最近開示のオープンソースソフトウェア6件を選定しました。
対象は、Linuxの権限昇格、ActiveMQのリモートコード実行、macOS版Chromeの解放後使用などです。
EXIM、SpringAI SpEL、Gemini CLIのリモートコード実行に関する脆弱性も対象に含めました。
9種類のプロンプトを使い、LLMによるパッチ生成を合計6080回試行しました。
適切なパッチは26％で、動作変更を伴う修正が21％、失敗や新たなバグの追加が53.9％でした。

記事のポイント

1. 適切な修正は26％： LLMが脆弱性そのものを修正できた割合は26％でした。対象にはClaudeとOpenAIのコーディングエージェント「Codex」に基づくLLMが含まれました。
2. 修正後の動作変更： 21％はバグを修正した一方、アプリケーションの動作も変更しました。失敗や新たなバグの追加に該当したケースは53.9％でした。
3. 6件の脆弱性を検証： Linux、ActiveMQ、macOS版Chrome、EXIM、SpringAI SpEL、Gemini CLIの脆弱性を検証しました。9種類のプロンプトで生成条件を変えました。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

AI生成の脆弱性パッチの7割以上に問題あり--過信の危険性

1Passwordの調査からは、期待されるセキュリティ対策へのAI導入を一歩引いて熟考すべき事実が明るみなった。…