機密情報を社外に出さずにAIを使うには？ ローカルLLMの導入と活用例

顧客との打ち合わせ記録から、社内の書式に合わせた報告書を作る。過去の対応記録を調べて、問い合わせへの回答を用意する。こうした仕事に生成AIを使いたくても、個人情報や社外秘を含むため、外部サービスへ入力できない場合があります。

自社で管理するPCやサーバー上で言語モデルを動かす「ローカルLLM」なら、入力した情報を外部のAIサービスへ送信しない構成を組めます。社内ネットワークから利用する画面や、既存の業務システムと連携する機能も開発できます。

社内で情報の取得から文章の生成・保存まで行う構成例です。

記録を読み、いつもの書式で書類を作る

例えば、打ち合わせ記録から「依頼内容」「決定事項」「次回までの作業」を取り出し、報告書の各欄に入れる使い方があります。医療機関であれば、診察や対応の記録から、カルテの下書きや院内書類を作る用途も検討できます。

必要になるのは、元の記録からどの項目を取り出すかという指定と、出力先の書式です。画面上に文章を表示するだけか、決まったファイル形式で保存するかでも、開発する機能が変わります。

社内資料をもとに質問へ回答する

「この申請には何が必要か」と質問すると、社内規程やマニュアルの該当箇所を探し、参照先とともに回答する仕組みを作れます。複数の文書を読んで要点をまとめる用途にも使えます。

この用途では、回答を作るモデルに加え、必要な資料を探す処理を組み合わせます。資料を差し替えたときに検索対象へ反映する方法や、部署ごとに見られる資料を分ける仕組みも設計します。

業務システムの操作に組み込む

毎回データをコピーしてAIへ渡す作業は、システム連携で減らせる場合があります。例えば、顧客管理画面で対応履歴を選び、報告書を生成するボタンを押して、編集した内容を保存する流れです。

既存システムにAPIなどの接続方法があるかを調べ、取得するデータと保存先を決めます。ファイルの出し入れで連携する方法や、専用の業務アプリを新しく開発する方法もあります。

機器とモデルは、使う人数と処理内容で選ぶ

機器の候補には、Mac mini・Mac StudioなどのAppleシリコン搭載Mac、NVIDIA製GPUを搭載したPC、DGX Spark、GPUサーバーなどがあります。

モデルは、Qwen、Gemma、DeepSeek、Kimiなどのローカル実行可能な公開モデルから選定します。同じシリーズでもサイズや必要なメモリ、利用条件が異なります。

一人で短い文章を扱う場合と、複数人が長い資料を同時に扱う場合では、必要な構成が変わります。導入時は実際の入力と利用人数に近い条件で、出力内容と待ち時間を確かめます。

導入前に、作業の変化とデータの流れを確かめる

まずは一つの業務で、入力から完成までを試します。書類作成なら、必要な項目の抜けや、原文にない内容が加わっていないかを調べます。入力の準備、生成待ち、確認、修正にかかる時間を合計し、現在の方法で同じ書類を作る時間と比べます。

外部送信を避けたい場合は、モデル以外の処理も確認します。文書の文字を読み取る処理、検索、ログ保存、保守接続についても、保存先と通信先を把握し、社内で処理する範囲を決めます。

導入費用を左右するもの

費用は、機器、開発する機能、既存システムとの連携、保守に分けて考えます。例えば、選んだ文書をアップロードして報告書を作る構成と、既存システムから自動取得して書き戻す構成では、後者に接続や更新処理の開発が加わります。

調査と小規模な検証を先に行えば、本導入で必要になる機器と開発範囲を具体化できます。検証結果が業務の条件に合わなければ、構成を変えるか、導入を見送るかを判断します。

和歌山・南大阪でのローカルLLM導入相談

Kazeでは、業務の相談から、機器・モデルの選定、検証、システム開発、保守まで対応します。和歌山・南大阪を中心に現地対応し、その他の地域も個別に相談できます。

初回相談は無料です。調査・検証以降は、作業範囲と費用を提示してから進めます。今使っている資料やシステムで、どの作業を変えたいかお聞かせください。