ソフトバンクとAmpere、CPUのAI推論活用で共同検証 – Impress Watch

ソフトバンクとAmpereが共同検証を実施し、CPUによるAI推論の運用効率化を目指しています。
この取り組みは、AIモデルの最適化と計算資源の利用効率向上を実現し、エネルギー消費の低減にも寄与する可能性があります。
将来的なAIエージェントの活用が期待される重要な進展です。

記事の概要

ソフトバンクは、米国の半導体設計企業Ampere Computingと共同で、GPUを用いたAIモデルの運用効率化を目指す検証を始めました。
Ampereはソフトバンクグループが約65億ドルで買収した企業です。
この共同検証では、ソフトバンクのオーケストレーターとAmpereのCPUを利用し、CPUをAI推論用の計算資源として活用できることを確認しました。
特に、SLMやMoEなどの推論モデルをCPU上で運用することで、計算資源の利用効率を向上させることができることが示されました。
また、オープンソースのAI推論フレームワーク「llama.cpp」をAmpere向けに最適化し、消費電力を抑えつつ同時実行可能数を増やせることも確認されました。
今後、両社はAIエージェント向けの安定したAI推論プラットフォームの実現に向けて取り組んでいく予定です。

記事のポイント

1. AI推論環境の最適化： ソフトバンクとAmpereは、CPUを活用してAIモデルの運用効率を向上させる共同検証を開始しました。
2. エネルギー効率の向上： Ampere製CPUを使用することで、消費電力を抑えつつ同時実行可能数を増加できることが確認されました。
3. 動的モデル切り替えの実現： 両社はAIエージェント向けに複数のモデルを動的に切り替え、安定した推論プラットフォームの構築を目指しています。

詳しい記事の内容はこちらから（引用元）

Impress Watch

ソフトバンクとAmpere、CPUのAI推論活用で共同検証

ソフトバンクは、米国の半導体設計企業Ampere Computingと、GPUを活用したAIモデルの運用効率化に向けた共…