OpenAIの新モデルAstra、Looped Transformer採用と報道

LLMの処理を一部繰り返す「Looped Language Model」の研究が活発です。
学習パラメーター数を抑えながら、推論性能を高める手法として注目されています。
The Informationは、OpenAIの新モデル「Astra」がLooped Transformerを取り入れていると報じました。

記事の概要

Looped Transformerは、特定の共有ブロックで計算を繰り返すモデル構造です。
通常のTransformerは、性能向上のためにレイヤーを増やし、パラメーターを拡大する設計が基本です。
一方、Looped Transformerは同じブロックを再利用し、推論時の計算の深さで性能を高めます。
この構造により、学習パラメーター数や学習コストを抑えられる可能性があります。
問題の難しさに応じて、ループ回数を増減できる柔軟性もあります。
ループ型言語モデルでは、2025年2月発表の「Huginn」や、同年10月発表の「Ouro」が代表例として挙げられています。
東京大学のキム・ボンジュン特任研究員は、arXivに関連論文が毎日のように投稿されていると説明しています。
ループ処理の設計次第で性能が変わるため、無条件に反復すればよいわけではありません。

記事のポイント

1. 同じブロックを再利用： Looped Transformerは共有ブロックを繰り返し使い、内部表現を次のループへ再帰的に引き継ぎます。
2. 学習コストを抑制： レイヤーを大量に増やさずに済むため、学習パラメーター数や学習コストを抑えられる可能性があります。
3. 推論時の柔軟性： 複雑な問題ではループ回数を増やし、簡単な問題では減らす運用が可能になるとされています。

このニュースがもたらす影響

• モデル導入企業： ループ回数を問題の難しさに応じて変えられるなら、導入側は精度だけでなく、業務ごとの処理時間や計算費用まで含めてモデルを評価する必要がありそうです。
• AIモデル開発企業： パラメーターを増やす従来の拡大策に加え、共有ブロックの再利用と推論時の計算量を組み合わせる設計が、開発コストと性能の両面で比較対象になりそうです。
• AI研究コミュニティ： ループ型モデルでは反復回数や共有ブロックの設計が性能を左右するため、単純なモデル規模の比較から、計算深度と精度の関係を検証する研究へ重点が移る可能性があります。

このニュースの背景

LLMでは、学習パラメーター数を抑えながら推論性能を高める手法として、処理の一部を繰り返すループ型言語モデルの研究が活発になっています。
通常のTransformerがレイヤーを積み重ねて性能を高めるのに対し、Looped Transformerは共有ブロックを再利用し、推論時の計算の深さを増やします。
推論時に計算リソースを増やして回答精度を高める「推論時スケーリング」が重視されるなか、2024〜2025年ごろからこの構造が再び注目されるようになりました。
HuginnやOuroなどの例が発表され、arXivにも関連論文が毎日のように投稿されている一方、ループの設計次第で性能が変わるため、適切な反復方法の研究が進んでいます。

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

パラメーター数抑える「Looped Transformer」、OpenAIもAstraで採用と報道

　推論過程で一部処理を繰り返す（ループさせる）「Looped Language Model（ループ型言語モデル）」の研究…