ソフトバンクとAmpereが共同検証–CPUによるAI推論最適化 – ZDNET Japan

ソフトバンクとAmpereが共同でCPUを活用したAI推論の効率化を検証することは、AIエージェント時代における新たな技術革新を示唆しています。
特に、コストや消費電力の課題を解決し、低遅延かつ高効率な推論環境を構築することで、業務自動化やネットワーク制御に大きな影響を与えるでしょう。
これは、AI技術の普及を促進する重要なステップです。

記事の概要

ソフトバンクとAmpereは、2023年2月17日にCPUを使ったAI推論の効率化に関する共同検証を開始したことを発表しました。
AIエージェント時代を見据え、小規模AIモデルをCPUで分散運用することで計算資源の効率を向上させる狙いがあります。
特に、低遅延・高効率な推論が求められる分野において、GPU中心の構成ではコストや消費電力の問題があるため、CPUの活用が注目されています。

検証では、ソフトバンクのAIモデル配分オーケストレーターを用いて、CPUのみやCPUとGPUを組み合わせたノードでの柔軟なモデル配置が確認されました。
また、Ampere製CPU向けに最適化されたオープンソースのAI推論フレームワークにより、消費電力を抑えつつ同時実行数を増やし、高速なモデル切り替えが可能であることが示されました。
今後は、安定したAI推論プラットフォームの実現に向けて取り組みを続ける予定です。

記事のポイント

1. AI推論の効率化： ソフトバンクとAmpereが共同でCPUを活用したAI推論の効率化を目指す検証を開始しました。
2. 小規模AIモデルの需要： 用途特化型の小規模AIモデルの需要が高まる中、CPUを利用した分散運用の重要性が浮き彫りになっています。
3. 次世代AIインフラの構築： ソフトバンクはAmpereとの協業を通じて、低遅延かつ高効率なAI推論環境の確立を推進します。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

ソフトバンクとAmpereが共同検証--CPUによるAI推論最適化

ソフトバンクとAmpereは、CPUを使ったAI推論の効率化に関する共同検証を開始すると発表した。AIエージェント時代に…