「1ビットLLM」でAIのエネルギー効率1桁改善、Microsoft研究所の幹部が力説

記事の概要

米Microsoftの研究部門、MSR Asiaのリドン・ジョウ所長は、2024年春に話題となる「1ビットLLM（大規模言語モデル）」BitNetのエネルギー効率が1桁改善されると強調しました。
BitNetは、-1、0、1の3種類のパラメーターを用い、従来の16ビットモデルと比べてパフォーマンスを維持しつつ、計算コストやエネルギー消費を大幅に削減します。
この技術では、行列の掛け算ではなく足し算のみを使用し、ルックアップテーブルを活用することでさらなる効率化が図られます。
ジョウ所長は、この新しいアプローチには専用のハードウェアが必要であり、従来のGPUとは異なる設計が求められると述べています。
また、MSR Asiaの東京拠点を開設し、AIやロボティクスの研究を進める意向を示しました。

記事のポイント

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

「1ビットLLM」でAIのエネルギー効率1桁改善、Microsoft研究所の幹部が力説

　「1ビットLLM」によって、AI（人工知能）のエネルギー効率は1ケタ改善する――。Microsoft Research…