Spiral.AIが限界を克服した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを公開しました。
Transformerの問題点を解決し、計算時間やリソースの増加を抑える特徴を持っています。
今後も次世代アーキテクチャの研究を進めます。
記事の概要
2024年5月1日、Spiral.AI株式会社は、従来のLLMアーキテクチャであるTransformerの問題点を解決した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを開発・公開しました。
RetNetは入力文字列長が長くなっても計算時間や必要リソースが増加しない特徴を持っており、柔軟な指示の与え方や長期記憶を保持することが可能です。
Spiral.AIは今後も次世代アーキテクチャの研究に取り組み、RetNetを含むより高い性能のモデルのリリースを予定しています。
記事のポイント
- 学習済みモデルの公開： Spiral.AIは、従来のLLMアーキテクチャであるTransformerの問題点を解決した学習済みモデル「RetNet」を開発・公開しました。
- RetNetの特徴： RetNetは、入力文字列長が長くなっても計算時間や必要リソースが増加しない特徴を持っており、Transformerの課題を解決する次世代アーキテクチャです。
- 大規模言語モデルの浸透のための公開： RetNetの学習済みパラメータを公開することで、後続の研究や追試が容易になり、大規模言語モデルのコミュニティにおける浸透を図ることができます。
詳しい記事の内容はこちらから（引用元）
プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES
SpiralAI株式会社のプレスリリース（2024年5月1日 13時51分）Spiral.AI、Transformerの…
https://prtimes.jp/main/html/rd/p/000000014.000120221.html