FlashLabsは、ローカルGPU上のAIモデルを共有APIとして利用できる新機能を提供開始しました。
新機能「Orca Connect」は、AI推論ゲートウェイ「OrcaRouter」に追加されました。
ポート開放や複雑なネットワーク設定なしで、ローカルモデルを外部から呼び出せます。
自前GPUの処理は無料で、クラウド上のエージェントやチームで利用できます。
記事の概要
Orca Connectは、Ollama、vLLM、LM Studioなどのローカル推論ランタイムをOrcaRouterに接続する機能です。
接続にはマシンから外向きの通信を1本使い、受信ポートやファイアウォールの設定変更は必要ありません。
追加したモデルは、「local/マシン名/モデル名」としてカタログに表示されます。
利用者は、OrcaRouterのAPIキーを使ってノートPCやスマートフォン、クラウド上のエージェントから呼び出せます。
対応ランタイムは、Ollama、vLLM、LM Studio、llama.cpp、SGLang、NVIDIA TensorRT-LLMの6種類です。
Claude Code、Codex CLI、OpenCode、Gemini CLIなど、10種類のコーディングエージェントにも対応します。
自前GPUが処理したレスポンスは無料で、ホスト型モデルが応答した場合のみ課金されます。
暗号化リレーとZero Data Retentionに対応し、TailscaleやWireGuardによる完全プライベート接続も構成できます。
記事のポイント
- 自前GPUの処理は無料です: 自前GPUが処理したレスポンスは無料で、ホスト型モデルが応答した場合のみ課金されます。料金はレスポンス単位で確認できます。
- 外向き接続だけで利用できます: 外向き接続を1本開くだけで利用でき、ポート開放やルーター、ファイアウォールの変更は不要です。
- 6ランタイムと10エージェント対応です: Ollamaなど6ランタイムと10種類のコーディングエージェントに対応し、ワンコマンドで接続できます。
このニュースがもたらす影響
- 導入を検討する企業: 既存のGPU資産を、ネットワーク設定の負担を抑えながら社内外の開発者やクラウドエージェントから使えるため、クラウド利用との役割分担やデータ管理方針を見直す契機になりそうです。
- AI基盤の提供者: 自前GPUの利用料を抑えつつ、必要時だけホスト型モデルへ切り替えられる構成は、ローカルとクラウドを単一APIで扱う機能や、処理先と費用を利用者が確認できる設計を求める流れにつながる可能性があります。
- AI開発チーム: コーディングエージェントから同じAPIキーでローカルモデルを呼び出せるため、機密性やコストを重視する開発では、モデルを固定せず、端末の稼働状況や処理内容に応じて利用先を選ぶ運用を検討しやすくなります。
このニュースの背景
AIモデルの活用が広がる一方、データを外部に出したくない場合やコストを抑えたい場合に、ローカル環境でモデルを動かすニーズがあります。
しかし、ローカルモデルを外部アプリケーションやチームメンバーと共有するには、ポート開放やトンネル設定、NAT越えなどのネットワーク知識が必要でした。
Orca Connectは、ローカルとクラウドのモデルを同じAPIインターフェースで扱いたいという課題を背景に投入された機能です。
関連するニュース
- FlashLabsはOrcaRouterでTencentのHy4 previewを無料枠付きで提供し、開発者が大規模モデルを試せる環境を整えました。
- FlashLabsは、AIモデル到達前に個人情報を合成データへ置き換えるData CloakをOrcaRouterで無料提供します。
- FlashLabsは、GPT-6.1 SolとClaude Sonnet 5.5をOrcaRouterに追加し、単一APIでの提供を始めました。
詳しい記事の内容はこちらから(引用元)
FlashLabs株式会社のプレスリリース(2026年10月27日 18時41分)OrcaRouter、ローカルGPUを…
https://prtimes.jp/main/html/rd/p/000000120.000138449.html