ASCII.jp：2.8兆パラメータAI「Kimi K3」公開　動かすには1億円超級サーバが必要？

中国Moonshot AIは7月27日、総パラメータ数2.8兆のAIモデル「Kimi K3」を公開しました。
公開先はHugging Faceで、第三者がモデルのウェイトを取得して実行や改良に取り組めます。
一方、ウェイトは約1.5TBに達し、実用的な速度で動かすには大規模なGPU環境が必要です。

記事の概要

Moonshot AIは7月27日、AIモデル「Kimi K3」のオープンウェイトをHugging Faceで公開しました。
同社は7月16日にAPI版を公開した際、フルウェイトを公開すると予告していました。
Kimi K3は総パラメータ数2.8兆のMixture of Experts（MoE）モデルです。
896の専門家のうち、各トークンで16のみを動作させる疎な構成を採用しています。
100万トークンのコンテキスト長に対応し、ネイティブな画像入力も利用できます。
公開ウェイトのデータサイズは約1.5TBで、Hugging Faceでは量子化版も公開されています。
実用的な速度で動かすには、NVIDIA H200を12～16基搭載したサーバーなどが必要とみられます。
大規模モデルを第三者が実行・改良できる一方、サイバーセキュリティなどの悪用リスクが論点になります。

記事のポイント

1. 2.8兆パラメータのMoE： Kimi K3は896の専門家から各トークンで16のみを動かすMoE構成を採用しています。
2. 長文・画像入力に対応： 100万トークンのコンテキスト長とネイティブ画像入力に対応するマルチモーダルモデルです。
3. 実行には大規模設備： NVIDIA H200を12～16基搭載する総額1億～2億円規模の環境が必要とみられます。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

2.8兆パラメータAI「Kimi K3」公開　動かすには1億円超級サーバが必要？

中国Moonshot AIは7月27日、総パラメータ数2.8兆のAIモデル「Kimi K3」のオープンウェイトをHugg…