NVIDIAが推論シフトを鮮明に、DeepSeekのAIを30倍高速化するソフトウエア発表

記事の概要

2025年のNVIDIAの年次開発者会議「GTC」で、CEOのジェンスン・ファン氏はAIの推論に関連する新ソフトウェア「Dynamo」を発表しました。
Dynamoはオープンソースで提供され、数千基のGPUを活用し、AI推論処理を最適化して生成するトークンの量を最大化します。
中国のDeepSeekのAIモデル「R1」の処理を30倍高速化することが可能です。
Dynamoは、プリフィルとデコードのプロセスを分割して異なるGPUで処理する「細分化サービング」を採用し、推論時間を大幅に短縮します。
さらに、「KVキャッシュマネージャ」が古いキャッシュを管理し、コストを削減する機能も備えています。
ファン氏は、推論における計算量増加の問題についても言及しました。

記事のポイント

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

NVIDIAが推論シフトを鮮明に、DeepSeekのAIを30倍高速化するソフトウエア発表

　米NVIDIA（エヌビディア）が開いた2025年の年次開発者会議「GTC」の大きなテーマは、AI（人工知能）の推論だっ…