ソフトバンクとAmpere、CPUのAI推論活用で共同検証 – Impress Watch

記事の概要

ソフトバンクは、米国の半導体設計企業Ampere Computingと共同で、GPUを用いたAIモデルの運用効率化を目指す検証を始めました。
Ampereはソフトバンクグループが約65億ドルで買収した企業です。
この共同検証では、ソフトバンクのオーケストレーターとAmpereのCPUを利用し、CPUをAI推論用の計算資源として活用できることを確認しました。
特に、SLMやMoEなどの推論モデルをCPU上で運用することで、計算資源の利用効率を向上させることができることが示されました。
また、オープンソースのAI推論フレームワーク「llama.cpp」をAmpere向けに最適化し、消費電力を抑えつつ同時実行可能数を増やせることも確認されました。
今後、両社はAIエージェント向けの安定したAI推論プラットフォームの実現に向けて取り組んでいく予定です。

記事のポイント

詳しい記事の内容はこちらから（引用元）

Impress Watch

ソフトバンクとAmpere、CPUのAI推論活用で共同検証

ソフトバンクは、米国の半導体設計企業Ampere Computingと、GPUを活用したAIモデルの運用効率化に向けた共…