FlashLabs、GLM-5.3-FlashのMLX量子化版を5種公開

FlashLabsは、AI推論ゲートウェイ「OrcaRouter」で、GLM-5.3-FlashのApple Silicon向けMLX量子化版を公開しました。
総パラメータ320B、アクティブ18BのMoEモデルを、2-bit Liteから6-bitまで5バリアントで提供します。
最軽量版は約102GBで、128GBメモリ搭載のMacBook Proで動作します。

記事の概要

公開された「GLM-5.3-Flash-MLX」は、Z.aiのオープンウェイトLLMをApple Silicon向けに最適化したモデルです。
Continuum AIが開発した量子化手法「OrcaSAQ」を採用し、キャリブレーション用データなしで混合精度量子化を実施しています。
バリアントは6-bit、4-bit、3-bit、2-bit、2-bit Liteの5種類で、モデルサイズは約102GBから約296GBです。
6-bit版はFP8版とのTop-1一致率が97.76%で、開発元発表ではほぼ無損失とされています。
2-bit Lite版は必要メモリが約112GBで、128GBメモリ搭載のM4またはM5 Max搭載MacBook Proに対応します。
同モデルは1Mトークンのコンテキストとマルチモーダル入力に対応し、Hugging FaceでMITライセンスのもと無償公開されています。
ローカル実行が難しい場合は、OrcaRouterのAPIからGLM-5.3-Flashをフル精度で利用できます。

記事のポイント

1. 5段階の量子化版： 2-bit Liteから6-bitまで、メモリ容量と精度の異なる5種類を提供します。
2. 128GB Macで動作： 最軽量版は約102GB、必要メモリ約112GBで、対応MacBook Proで動作します。
3. 6-bit版は97.76%一致： 6-bit版はFP8版とのTop-1一致率97.76%で、ほぼ無損失とされています。

このニュースがもたらす影響

• 導入を検討する企業： 外部送信を避けたい企業は、128GB級のMacを使ったローカル推論を選択肢に加えやすくなります。まずは扱うデータの機密性と必要な精度を基準に、量子化版を試す価値がありそうです。
• ローカルAI開発者： 5段階の精度・メモリ構成から用途に合う版を選べるため、端末制約を前提にした検証が進めやすくなります。1Mトークンやマルチモーダル入力を含む実運用での適合性確認が求められそうです。
• AI基盤担当者： ローカル実行とAPI利用を同じモデルで比較できるため、機密性・レイテンシー・運用負荷に応じた配置判断がしやすくなります。自社の端末やGPUで必要メモリを満たせるか、事前検証が重要になります。

このニュースの背景

大規模なオープンウェイトLLMは、ローカル実行に数百GB規模のメモリを必要とすることが一般的でした。
一方、ローカル実行にはデータを外部に送信せずに済むことや、レイテンシーを抑えられることへの期待があります。
今回のモデルは、量子化によってメモリ使用量を抑えつつ、複数の精度水準から選べる構成になっています。

関連するニュース

• FlashLabsが、音声認識の誤りがマルチホップRAGで最大67%増幅する研究成果を公表しました。

詳しい記事の内容はこちらから（引用元）

プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES

OrcaRouter、320B級オープンウェイトLLM「GLM-5.3-Flash」のApple Silicon向けMLX量子化版を「2-bit Lite」〜「6-bit」の5バリアントで公開

FlashLabs株式会社のプレスリリース（2026年8月28日 14時00分）OrcaRouter、320B級オープン…