Strata、7630億パラメーターのDeepSeekを64GB PCで実行

オープンソースAI推論エンジン「Strata」が、巨大モデルを64GBのメインメモリで動かせるようになりました。
対応したモデルは、約7630億パラメーターの「DeepSeek-V4.1-Flash-1017」です。
GeForce RTX 5070と組み合わせた測定では、毎秒4～6トークンを生成しました。

記事の概要

Strata開発者のNiko Veit氏は10月24日、DeepSeek-V4.1-Flashの動作対応を発表しました。
オーストリア科学技術研究所DASLabの圧縮手法「GSQ-RCO」による量子化版を使います。
StrataはモデルのデータをGPUのVRAMだけでなく、メインメモリやSSDにも配置します。
CPUなども活用して処理するため、GPUメモリに収まらないモデルをPCで実行できます。
公開されたモデルは、重みの平均精度が1.75ビット、2ビット、2.25ビットの3種類です。
関連ファイルを含む容量は約239GB、257GB、274GBで、2ビット版は約265GBの空き容量を求めます。
Strata 0.2.5では、RTX 5070の専用メモリ12GBとメインメモリ64GBで、2ビット版が毎秒4～6トークンでした。

記事のポイント

1. 巨大モデルをPCで実行： StrataはVRAMだけに頼らず、メインメモリやSSD、CPUも使って7630億パラメーターのモデルを処理します。
2. 量子化版は3種類： GSQ-RCOによる量子化版は1.75ビット、2ビット、2.25ビットで、容量は関連ファイル込みで最大約274GBです。
3. 処理速度と必要容量： RTX 5070と64GBメインメモリの構成では、2ビット版を毎秒4～6トークンで生成しました。

このニュースがもたらす影響

• 導入検討企業： 高価なGPU基盤を前提にせず、手元のPCで巨大モデルの性能や用途を検証できる選択肢が増えます。一方、数百GBの保存領域と生成待ち時間を含めた評価が必要です。
• AI基盤提供者： モデルをVRAMに収めることを前提としない推論構成が現実味を増し、メインメモリやSSD、CPUを組み合わせた実行効率が競争軸になる可能性があります。
• IT管理者： 社内PCで巨大モデルを扱う場合、必要な空き容量や処理速度だけでなく、モデルデータの配置先と利用端末の運用ルールを事前に検討することが求められそうです。

このニュースの背景

巨大モデルはパラメーター数が大きく、一般的なPCのGPUメモリだけでは実行しにくい状況があります。
StrataはモデルデータをVRAMだけでなく、メインメモリやSSDにも配置し、CPUなども使って処理します。
今回はGSQ-RCOによる低ビット量子化版が用意され、モデル容量を抑えながら64GBのメインメモリでの実行につなげています。

関連するニュース

• HCloudは、DeepSeek最新版をプロンプト非保存・円建て対応のAPI「HAI」で国内提供します。
• StrataがRAMとSSDへの分散で、80GB超のLLMをRTX 4090上で実行しました。
• FlashLabsはOrcaRouterのDeepSeekモデルを更新し、コード変更なしで性能向上版を提供します。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

えっ!　メモリ64GBのPCで7630億パラメーターのDeepSeekを!?　Strataがついに実現

オープンソースAI推論エンジン「Strata」開発者のNiko Veit氏は10月24日、AIモデル「DeepSeek-…