デージーネットは8月26日、ローカルLLMを活用した社内AI基盤構築サービスを提供開始します。
LLMの選定からサーバ構成、セキュリティ設計、運用ルールの整備まで支援します。
社内文書を使った問い合わせ対応や業務手順の検索、文書確認などに活用できます。
記事の概要
デージーネットは、企業の業務内容やセキュリティ要件に合わせて社内AI基盤を構築します。
ローカルLLMは組織内のサーバやオンプレミス環境で実行する大規模言語モデルです。
外部のクラウド型生成AIサービスへデータを送信せずに処理できる点が特徴です。
一方で、高性能なハードウェアやLLMの選定、ナレッジベースの整備が必要です。
基盤には、LLMをローカル環境で実行・管理するOSSのOllamaを利用できます。
生成AIアプリケーション開発・運用向けOSSのDifyでは、チャットボットやナレッジ検索、ワークフローをGUIから作成できます。
全文検索OSSのFessとDifyを組み合わせ、社内文書の検索・要約・一覧化・比較にも対応できます。
構築費用はDifyが147万円から、Ollamaが104万円からで、いずれもハードウェア費用は別途です。
記事のポイント
- 支援範囲を一括対応: LLMの選定、サーバ構成、セキュリティ設計、プロンプト設計、運用ルール整備まで支援します。
- OSSを組み合わせて活用: Ollama、Dify、Fessなどを組み合わせ、社内問い合わせや文書検索を実現します。
- 構築後の保守にも対応: OpenSmartAssistanceで、Q&Aやセキュリティ情報提供、障害対応、更新などを行います。
このニュースがもたらす影響
- 導入を検討する企業: 機密データを扱う社内問い合わせや文書検索では、クラウド利用の可否だけでなく、ハードウェア費用と保守を含む総コスト、運用体制まで比較する必要がありそうです。
- 同業のサービス提供者: LLM選定やセキュリティ設計だけでなく、ナレッジ整備、業務アプリ化、導入後の更新・障害対応までを一括で支援できるかが、提案時の差別化要素になる可能性があります。
- 企業の情報システム部門: 社内文書を検索・要約する仕組みでは、既存のファイルサーバや文書管理システムとの接続に加え、回答品質を維持するナレッジ更新と利用ルールの設計が求められそうです。
このニュースの背景
企業で社内問い合わせやマニュアル検索への生成AI活用が広がる一方、クラウド型サービスでは入力データを外部環境へ送信するため、セキュリティポリシーに応じた検討が必要です。
社内システムとのAPI連携では従量課金が発生することがあり、利用範囲によっては運用コストが増える可能性もあります。
ローカルLLMは外部サービスへデータを送信せずに処理できますが、高性能なハードウェアやモデル選定、ナレッジベースの整備が必要です。
こうした導入時の設計・運用上の負担を踏まえ、複数のOSSを組み合わせた社内AI基盤を構築し、保守まで支援するサービスが登場しました。
関連するニュース
- Ikotas Labsは、外部送信なしで脆弱性診断やフォレンジックを支援するSUGIを提供します。
- 第一法規が自治体職員向け生成AIサービス「ELDA」β版をリリースしました。
- エフサステクノロジーズとNTT西日本が、純国産LLMを使うオンプレミス生成AI基盤の動作検証を完了しました。
詳しい記事の内容はこちらから(引用元)
オープンソースソフトウェア※1(以下、OSS)に特化したIT企業である株式会社デージーネット(本社:愛知県名古屋市、代表…
https://www.atpress.ne.jp/news/626134