記事の概要
富士通は新たに開発したアーキテクチャー「PHOTON」を発表しました。
この技術は、大規模言語モデル(LLM)の推論コストを削減し、従来のTransformerと比較してGPUあたり最大475倍のマルチクエリー性能を実現しています。
PHOTONは、トークン単位から「意味単位」での階層的処理に移行することで、計算負荷を軽減し、重要な文脈情報を保持します。
また、「マルチクエリー統合技術」により、同一問題に対して複数のクエリーを生成し精度を向上させます。
この技術は、データセンターの電力消費やGPU需要の増加に対する解決策としても期待されており、効率的なAIインフラの構築に貢献します。
富士通はこの成果を国際会議で発表し、商用システムへの適用を進める予定です。
記事のポイント
詳しい記事の内容はこちらから(引用元)
ZDNET Japan
富士通は、大規模言語モデル(LLM)の推論コストを削減する新アーキテクチャー「Parallel Hierarchical…
https://japan.zdnet.com/article/35249366/
