Strata、RAMとSSD活用で80GB超のLLMをPC実行

ローカルLLM向け技術「Strata」が9月24日に一般公開されました。
VRAMだけでなくRAMとSSDにもデータを分散し、従来は動作が難しかった大規模モデルをPC上で実行します。
RTX 4090とRAM 64GBの環境では、83.86GBのモデルを毎秒約80トークンで出力しました。

記事の概要

Strataは現在、Alibabaの「Qwen3.8-Flash-Next」のみに対応しています。
Qwen3.8-Flash-Nextは総パラメータ数125Bですが、MoE方式により推論時の有効パラメータ数は6Bです。
同モデルは圧縮後もファイルサイズが80GBを超え、従来は128GB以上のユニファイドメモリを持つPCなどが前提でした。
一方、Strataは必要なデータをVRAM、RAM、SSDに分割して保持します。
記事では、RTX 4090とRAM 64GBのPCで83.86GBのモデルを動作させています。
「シンギュラリティ」に関するレポート生成では、毎秒約80トークンの速度を記録しました。
StrataはNVIDIAのCUDAライブラリに最適化され、ユニファイドメモリ搭載PCより速いとされています。
利用時はVRAMとRAMを大きく消費するため、記事ではRTX 4090搭載PCを専用サーバとして運用しています。

記事のポイント

1. 大規模モデルに対応： StrataはVRAMに加えてRAMとSSDを使い、80GB超のモデルをPCで実行します。
2. RTX 4090で毎秒80トークン： RAM 64GBのRTX 4090環境で、83.86GBのモデルを毎秒約80トークンで出力しました。
3. 専用サーバ運用が前提： VRAMとRAMを限界まで使うため、別のPCから専用クライアントで接続します。

このニュースがもたらす影響

• 導入を検討する企業： 大規模モデルをクラウドに依存せず運用できる選択肢が増えます。専用サーバとしてのハードウェア構成や、他PCから接続する運用が自社業務に合うかを検討する必要があります。
• 同種技術の提供者： VRAM容量だけでなく、RAMやSSDを組み合わせて実行性能を高める設計が比較軸になりそうです。対応モデルの広さと生成速度の両立が求められる可能性があります。
• ローカルAIの利用企業： 80GB超のモデルをPCで扱えることで、これまでモデルサイズを理由に見送っていた用途も検証しやすくなります。一方、利用可能なモデルが限られる点は導入判断の条件になりそうです。

このニュースの背景

Qwen3.8-Flash-Nextは圧縮後も80GBを超えるため、従来は128GB以上のユニファイドメモリを持つPCなどが前提でした。
Strataは必要なデータをVRAM、RAM、SSDに分散して保持し、RTX 4090とRAM 64GBの環境で83.86GBのモデルを動作させています。
NVIDIAのCUDAライブラリに最適化され、記事の検証では毎秒約80トークンを記録しました。
ただし、現時点では対応モデルがQwen3.8-Flash-Nextに限られ、VRAMとRAMを大きく消費するため専用サーバ運用が前提です。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

GPT-4o級モデルが自宅のPCで動いた！　ローカルAIの常識を変える「Strata」 (1/5)

ローカルLLMの推論エンジン「Strata」を実機で検証。GPU・RAM・SSDを活用して巨大モデルを動かし、検索や画像…