AWSが生成AIサービスに新しい選択肢、基盤モデル開発用チップで低遅延推論

AWSが生成AIサービスの推論を低遅延化する新オプションを導入しました。
これにより、企業は迅速なデータ処理が可能になり、AI技術の実用化が加速します。
競争激化の中で、他社との差別化が期待されます。

記事の概要

米Amazon Web Services（AWS）は、2024年12月2日に開催された年次イベント「AWS re:Invent 2024」において、生成AIサービス「Amazon Bedrock」に新たな低遅延推論オプションを追加したと発表しました。
この新機能は、AWSが独自に開発したAIチップ「Trainium2」を使用しており、プロンプトから結果表示までの遅延を短縮します。
対象の基盤モデルには、Anthropicの「Claude 3.5 Haiku」とMetaの「Llama 3.1」が含まれています。
ディサンティスSVPは、他のクラウドプロバイダと比較して圧倒的な低遅延を実現すると述べました。
また、基調講演では、AWSが展開したサーバーCPUの50％以上が独自設計のArmベースのCPU「Graviton」であることも明らかにされ、Intelにとっての影響も示唆されました。

記事のポイント

1. 生成AIサービスの高速化： AWSは新しいAIチップ「Trainium2」を導入し、生成AIサービスの推論を高速化しました。
2. 低遅延の推論： 新オプションにより、プロンプト入力から結果表示までの遅延が大幅に短縮され、ユーザー体験が向上します。
3. 自社開発のCPU展開： AWSはデータセンターでGraviton CPUを50％以上使用しており、業界の競争環境に影響を与えています。

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

AWSが生成AIサービスに新しい選択肢、基盤モデル開発用チップで低遅延推論

　米Amazon Web Servicesは2024年12月2日（米国時間）、生成AIサービス「Amazon Bedro…