記事の概要
イーロン・マスク氏が率いるXの関連会社xAIが、2023年に発表した言語モデル「Grok-1」の重みとアーキテクチャーをオープンソースで公開した。
Grok-1は3140億のパラメータを持つMoEモデルで、複数のエキスパートがトークンごとに選択されることで計算効率が向上している。
公開された重みファイルはGitHubで自由に使用、変更、配布が可能で、商用・非商用を問わず利用できる。
また、「░W░E░I░G░H░T░S░I░N░B░I░O░」というアカウントのBioには巨大な重みファイルがダウンロード可能と書かれている。
マスク氏の公開に対し、OpenAI側からはジョークを盗んだという反応があり、マスク氏はOpenAIのオープンな部分について問い返している。
記事のポイント
詳しい記事の内容はこちらから(引用元)
ASCII.jp
xAIは3月17日、同社が2023年11月5日に発表した独自の大規模言語モデル(LLM)「Grok-1」の重みとアーキテ…
https://ascii.jp/elem/000/004/189/4189634/