AWSが生成AIサービスに新しい選択肢、基盤モデル開発用チップで低遅延推論

記事の概要

米Amazon Web Services（AWS）は、2024年12月2日に開催された年次イベント「AWS re:Invent 2024」において、生成AIサービス「Amazon Bedrock」に新たな低遅延推論オプションを追加したと発表しました。
この新機能は、AWSが独自に開発したAIチップ「Trainium2」を使用しており、プロンプトから結果表示までの遅延を短縮します。
対象の基盤モデルには、Anthropicの「Claude 3.5 Haiku」とMetaの「Llama 3.1」が含まれています。
ディサンティスSVPは、他のクラウドプロバイダと比較して圧倒的な低遅延を実現すると述べました。
また、基調講演では、AWSが展開したサーバーCPUの50％以上が独自設計のArmベースのCPU「Graviton」であることも明らかにされ、Intelにとっての影響も示唆されました。

記事のポイント

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

AWSが生成AIサービスに新しい選択肢、基盤モデル開発用チップで低遅延推論

　米Amazon Web Servicesは2024年12月2日（米国時間）、生成AIサービス「Amazon Bedro…