FlashLabs、743B規模のGLM-5.3をMac向けに量子化

FlashLabsは、Z.aiの大規模LLM「GLM-5.3」をApple Silicon向けに最適化した「GLM-5.3-MLX」を公開しました。
独自の量子化手法により、モデル容量を約1.51TBから約322GBに圧縮しました。
512GBメモリを搭載したMacで、2-bitから4-bit版をローカル実行できます。

記事の概要

GLM-5.3-MLXは、総パラメータ約743B、アクティブパラメータ40BのMoEモデルを基にしています。
同モデルは1Mトークンのコンテキストに対応し、フルモデルをApple Silicon向けに最適化しています。
FlashLabs独自の「OrcaSAQ」は、重要なテンソルを高精度に保つ混合精度量子化方式です。
2-bit版では、FP8時点の約1.51TBから約322GBへ、約79％小型化しました。
開発元の検証では、2-bit版で約80.2％の精度を維持し、6-bit版ではFP8に対するコサイン類似度が0.9997以上です。
2-bit、3-bit、4-bit、6-bitの4バリアントを提供し、512GBメモリ搭載Macでは2-bitから4-bit版を実行できます。
6-bit版は、2台の512GB Macを接続する分散構成、または8基のNVIDIA H200での実行を想定しています。

記事のポイント

1. 約79％の容量削減： OrcaSAQにより、GLM-5.3をFP8時点の約1.51TBから2-bit版で約322GBへ圧縮しています。
2. 4種類の量子化版： 2-bit、3-bit、4-bit、6-bitを用途や実行環境に応じて選べ、512GB Macで4-bitまで動かせます。
3. 複数の利用経路： Hugging FaceでMLX版を公開し、UnslothのGGUF版やOrcaRouter APIからも利用できます。

このニュースがもたらす影響

• 導入検討企業： 512GBメモリのMacを保有する企業は、外部APIだけでなく大規模モデルのローカル検証も選択肢にできます。データを外部送信せずに済む構成を検討しやすくなりそうです。
• AI基盤担当者： 2〜6-bitの複数版から、精度・メモリ容量・実行速度の優先順位に応じて構成を選ぶ必要が生じます。単体Mac、分散構成、GPU利用の比較が求められそうです。
• モデル提供者： フルモデルを大幅に圧縮し、一般的な開発端末に近い環境へ広げる経路が示されました。今後はモデル性能だけでなく、量子化後の実行環境まで含む提供設計が重要になりそうです。

このニュースの背景

最先端のオープンウェイトモデルは数百GB規模のメモリを必要とすることがあり、日常的なデバイスでのローカル実行が難しい状況でした。
一方、ローカル実行には、データを外部に送信せずに済むことやレイテンシーの低さといった利点があります。
OrcaSAQは、モデル構造に応じて精度保持に重要なテンソルを高精度に扱う混合精度量子化方式として開発されています。
今回のフルモデルへの展開により、用途や実行環境に応じて量子化の強度を選べる構成になっています。

関連するニュース

• FlashLabsがGLM-5.3-FlashのApple Silicon向け量子化版を5種公開しました。
• FlashLabsが、音声認識の誤りがマルチホップRAGで最大67%増幅する研究成果を公表しました。
• FlashLabsが、Qwen3.8-Flash-Nextをベースにしたセキュリティ研究向けLLMを申請制で公開しました。

詳しい記事の内容はこちらから（引用元）

プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES

OrcaRouter、1.5TB超の大規模LLM「GLM-5.3」を1台のMacで実行できる「GLM-5.3-MLX」を公開

FlashLabs株式会社のプレスリリース（2026年8月31日 14時30分）OrcaRouter、1.5TB超の大規…