Fastlyの生成AIキャッシュが対応LLM拡充し攻勢、AIアプリの「もっさり感」解消

記事の概要

米Fastlyは、新たに「Fastly AI Accelerator」を導入し、大規模言語モデル（LLM）のレスポンス速度を向上させる攻撃を仕掛けています。
従来のLLMは反応が遅く、利用者に「もっさり感」を感じさせることが多かったですが、この新しいキャッシュ機能は、以前の質問に対する回答を保存し、再利用することで、迅速な応答を実現します。
また、LLMへの問い合わせを減らすことでAPI利用料の節約も可能です。
対応するLLMは、OpenAIやGoogleの「Gemini」などがあり、今後はMicrosoftの「Azure OpenAI Service」も追加予定です。
Fastlyは、ユーザーがアプリのソースコードを簡単に変更するだけでこの機能を利用できるように設計しており、使いやすさを重視しています。
AI Acceleratorの導入により、高頻度のクエリに対して最大75％の速度向上が期待されています。

記事のポイント

詳しい記事の内容はこちらから（引用元）

日経クロステック（xTECH）

Fastlyの生成AIキャッシュが対応LLM拡充し攻勢、AIアプリの「もっさり感」解消

　米Fastlyが、LLMの回答速度を高めるキャッシュ「Fastly AI Accelerator」で攻勢をかけている。…