注目キーワード

生成AIが危険なコードや回答を生成するリスク、メタのPurple Llamaが示すAIの危険度

生成AIの安全性がますます注目されています。
メタのPurple Llamaは、生成されるコードの脆弱性や危険性を評価し、AIの安全性を強化するためのイニシアチブとして活動しています。
生成AIの利用が増える中で、悪意あるコード生成のリスクも存在しますが、CyberSecEvalによる評価によって安全性を確保する取り組みが進められています。
生成AIのコードの脆弱性や悪意ある生成に対する懸念を踏まえ、安全なコーディング慣行を確保するための取り組みが求められています。

記事の概要

「生成AIが危険なコードや回答を生成するリスク、メタのPurple Llamaが示すAIの危険度」について、AI企業が生成AIの安全性に取り組む中で、メタが開発した「CyberSecEval」ツールを使用して、生成されるコードの脆弱性や危険性を評価していることが明らかになった。
このツールによる調査では、AIが生成したコードの約25%が脆弱性を持ち、また52%のケースでサイバー攻撃につながる可能性のあるコードを生成していることがわかった。
また、AIモデルによってはサイバー攻撃用のコード生成を拒否する確率も異なり、安全なモデル開発に向けた取り組みが重要であることが示されている。
これらの結果を踏まえ、AI企業は生成AIの安全性に対する取り組みを強化していく必要性がある。

記事のポイント

  1. Purple Llamaイニシアチブ: メタが開発した「Purple Llama」イニシアチブは、生成AIの安全性を強化するために大規模言語モデルの安全性を評価するツール「CyberSecEval」と大規模言語モデルの有害性を評価する「Llama Guard」を発表しました。
  2. AIコード生成の増加: AIによるコード生成が急速に増えており、GitHubに保存されているコードの46%がAIコード生成ツールによって生成されていることが明らかになりました。
  3. 脆弱なコードの検知: CyberSecEvalの解析ツールによる調査では、AIモデルが生成するコードには脆弱性があり、生成AIの能力が高いほど脆弱なコードを生成する傾向があることが示されました。

詳しい記事の内容はこちらから(引用元)

生成AIが危険なコードや回答を生成するリスク、メタのPurple Llamaが示すAIの危険度
https://ampmedia.jp/2024/02/10/meta-genai-safety/

 

最新情報をチェックしよう!
>ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

国内外の最新AIに関する記事やサービスリリース情報を、どこよりも早くまとめてお届けします。
日々BizAIdeaに目を通すだけでAIの最新情報を手軽にキャッチアップでき、
AIの進化スピードをあなたのビジネスの強みに変えます。

SNSをフォローして頂くと、最新のAI記事を最速でお届けします!
X: https://twitter.com/BizAIdea
Facebook: https://www.facebook.com/people/Bizaidea/61554218505638/

CTR IMG