記事の概要
最近、アップルが注目しているのは、生成AIの最新トレンドである「小型LLM」の登場です。
特にオフラインでも利用できる小型LLMがスマホやラップトップ市場に与えるインパクトが注目されています。
アップルは、iPhoneやMacBookなどのメモリ制約のあるデバイスでLLMを動作させる手法を提案し、メモリ使用量を減らしつつ推論の遅延を最小限に抑える方法を開発しています。
また、H2O AIも小型LLMの開発を進めており、スマホやラップトップなどのモバイルデバイス向けに「Danube 1.8B」という大規模言語モデルをリリースしました。
これにより、モバイルデバイス上で高速かつ高品質な生成AIのアプリケーションが期待されています。
記事のポイント
詳しい記事の内容はこちらから(引用元)
AMP[アンプ] - ビジネスインスピレーションメディア
…
https://ampmedia.jp/2024/05/03/small-llm/