ASCII.jp：小さくても高性能　日本語AIモデル「Japanese Stable LM 2 1.6B」

「Japanese Stable LM 2 1.6B」は、16億パラメータの小型言語モデルです。
必要なハードウェアを抑えながらも、高速で高性能な実験が可能。
商用利用も可能です。

記事の概要

AI開発企業のStability AIが、日本語大規模言語モデル「Japanese Stable LM 2 1.6B」をリリースした。
このモデルは16億パラメータで学習された小型の日本語言語モデルであり、ハードウェアの使用量を抑えながらも高速かつ高性能な実験が可能となっている。
モデルには「Japanese Stable LM 2 Base 1.6B」と「Japanese Stable LM 2 Instruct 1.6B」という2種類があり、商用利用はStability AIのメンバーシップによって可能となっている。
トレーニングデータにはWikipediaの日本語版と英語版、およびStability AIが収集した日本語ウェブコーパス「CulturaX」が使用されており、幅広い話題に対応した自然な日本語生成が可能とされている。
また、16億パラメータの小型モデルでありながら、70億パラメータのモデルに近いスコアを獲得しており、研究や開発の効率化が期待されている。

記事のポイント

1. ハードウェアの軽量化： Japanese Stable LM 2 1.6Bは16億パラメータと軽量化されており、必要なハードウェアを小規模に抑えることが可能です。
2. スピードと性能の両立： JSLM2 1.6Bは高速な実験を可能にし、スピードと性能を両立したコンパクトな日本語言語モデルです。
3. 高いスコアを獲得： 16億パラメーターという小型モデルでありながら、70億パラメーターのモデルに近いスコアを獲得しています。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

小さくても高性能　日本語AIモデル「Japanese Stable LM 2 1.6B」

Stability AIは5月9日、日本語大規模言語モデル「Japanese Stable LM 2 1.6B」をリリー…