記事の概要
オープンソースの生成AIである「Llama 2」の腎臓学に関する質問に対する回答能力が、商用モデルの「GPT-4」と「Claude 2」に劣ることが明らかになった。
ペパーダイン大学などの研究者による論文によれば、オープンソースのモデルは総合スコアがランダム回答と変わらないことが多く、最も良い成績を収めたLlama 2のスコアもランダム回答をわずかに上回る程度だった。
この研究では、言語モデルの「コンテキスト内学習」の能力をテストするため、正しい回答や間違った回答の例を与えずに言語モデルを使用した「ゼロショット」のタスクが行われた。
また、著者らは大量のデータの準備作業や自動採点技術の開発も行った。
記事のポイント
詳しい記事の内容はこちらから(引用元)
ZDNET Japan
最近発表されたさまざまな生成AIの医学に関する能力を比較した論文によると、Llama 2をはじめとするオープンソースの大…
https://japan.zdnet.com/article/35214897/