社内AIシステムの7層構造：IT部門が構築前に決めること

ひとつのAIシステムには7つの層がある

新しい支店を開くときを考えてください。店舗、マネージャー、スタッフ、書類棚、倉庫への直通回線、承認ルール、月末の報告書が要ります。AIシステムにも同じ部品がそろっていて、それぞれをクラウドで借りるか、オンプレミスとして社内に置くかを選べます。

この章の図は、上から下へ積み重なった5つの層です。チャネル、オーケストレーション、モデル、ナレッジ、データと業務システムです。そして、すべての層に触れる2本の柱として、制御と効果測定があります。質問はデータに向かって下へ流れ、答えは層をまたぐたびに制御の柱を通って上へ戻ります。

第1層 チャネル：人が質問を入力する場所

チャネルとは、LINE、Web、アプリ、メールのことです。IT部門は、どのチャネルから始めるか、入力しているのが誰かをどう確かめるかを決めます。最初のチャネルには、社員がすでに使っている場所が向いています。よくある失敗は、社員アカウントと結びつかないチャネルを選ぶことです。これでは、誰に何を見せてよいかをシステムが判断できません。LINEのメッセージは必ずLINEのサーバーを通ります。データを社外に出せない場合は、SSOでログインする社内Webを使い、LINEは通知だけに使います。

第2層 オーケストレーション：次の手順を誰が決めるか

オーケストレーションは、文書を検索するか、システムを呼ぶか、モデルに聞くか、人に渡すかを判断します。ワークフローエンジンは書かれた順番どおりに進み、エージェントループはモデル自身に次の手順を選ばせます。IT部門は、どの業務にどちらを使うかを決めます。毎回手順が同じ業務はワークフローにします。検証しやすく、モデルの利用料も抑えられます。よくある失敗は、回数の上限を設けずにすべての業務をエージェントで動かすことです。この層は社内にも置けます。たとえばKubernetes上のLangChainです。複数のエージェントを組み合わせた例は、マルチエージェントの業務基盤をご覧ください。

第3層 モデル：クラウドか、プライベートか、その両方か

クラウド側には、Claude、GPT、Geminiの法人向けプランがあります。性能が高く、機器の管理も要りませんが、文章は社外に出ます。自社で動かす側には、vLLMやOllama上のLlama、QwenといったプライベートLLMがあります。データは社内に残り、その代わりにハードウェアの管理が必要です。IT部門は、モデルルーティングでどの業務をどのモデルに送るかを決めます。顧客データを含む業務は社内のモデルへ、一般的な業務はクラウドへ送ります。よくある失敗は、コードを一社のモデルに縛りつけることです。詳しくはAI事業者を一社に絞らない理由とプライベートAIという選択肢をご覧ください。

第4層 ナレッジ：AIが答えに使う文書

システムは答える前に、RAGで文書を検索します。文書は意味を表す数値、つまりエンベディングに変換され、ベクトルデータベースに保存されます。IT部門は、どの版が正式か、誰が管理するか、誰が何を見てよいかを決めます。スキャンした書類にはOCRが必要です。また、タイ語の文書は単語の間にスペースを入れないため、意味による検索と単語による検索を組み合わせます。よくある失敗は、共有ドライブを丸ごと取り込み、古い版と新しい版が混ざることです。この層はすべて社内に置けます。たとえばElasticsearchと自社のエンベディングモデルの組み合わせです。

第5層 データと業務システム：API、MCP、RPA

AIがERP、CRM、会計システムにアクセスする方法は3つあります。APIは、システムがほかのプログラムからの呼び出しのために開いている窓口です。MCPはAPIを包み、AIが自分で選んで使えるようにします。RPAは、APIのない古いシステムで、人の代わりに画面を操作します。IT部門は、AIに読み取りだけを許すか書き込みも許すか、そしてデータごとの正本がどこにあるかを決めます。よくある失敗は、管理者アカウントひとつですべてのシステムに入らせることと、画面が変わるたびに止まるRPAに頼ることです。接続部分は、モデルがクラウドにあってもERPと同じネットワーク内で動かします。詳しくは新しいアプリをERPや既存データとつなぐ方法をご覧ください。

第6層 制御：権限、承認、記録

この層は、誰が何を質問できるか、AIがどのツールを呼べるか、どの業務に承認ポイントが必要か、ガードレールが何を検査するかを定め、すべての手順を監査ログに記録します。文書に紛れ込んでAIにこっそり指示を出すプロンプトインジェクションを防ぐのも、この層です。IT部門は、AIの権限を質問者本人と結びつけるかどうかを決めます。Active Directory経由で結びつければ、システムは質問者が見られる範囲を超えて見ることはありません。よくある失敗は、プロンプトに「給与を開示しないこと」と書いて制御したつもりになることです。制御はモデルの外のコードで行い、常に自社側に置きます。

第7層 効果測定：答えは正しいか、1件あたりいくらか

中心となるのは、自社の実際の業務の例を使ったテストです。稼働前に行い、モデル、文書、プロンプトを変えるたびにやり直します。あわせて、人が直した答えと1件あたりのコストを示すダッシュボードを用意します。IT部門は稼働前に、誰が答えを確認するか、合格基準は何かを決めます。よくある失敗は、稼働後に測定を始めることです。クラウドのモデルは文章の量で課金され、プライベートLLMは機器の固定費です。そのため1件あたりの数字を見れば、どの業務をどちら側に移すべきかがわかります。

MCPとAPIの違い

オフィスビルを思い浮かべてください。APIは番号のついた部屋の扉で、どの扉をどの順で開けるかは、プログラマーが前もって書いておきます。MCPはエレベーター前の案内板で、各部屋で何ができるかが書いてあります。AIはそれを読み、質問に合わせて自分で部屋を選びます。

公式ドキュメントによると、MCP（Model Context Protocol）は、AIアプリケーションを外部のシステムにつなぐためのオープンな標準です。AIアプリケーションがホストとなり、サーバー1つにつきクライアントを1つ作ります。サーバーは、操作のためのTools、読み取りのためのResources、指示のひな形であるPromptsを提供します。各ツールには、名前、説明、受け取るデータの形式があります。

接続先システムの認証情報はMCPサーバーが持ち、モデルからは見えません。多くのMCPサーバーはERPの既存APIを包む形で作られるため、今あるAPIをそのまま使い続けられます。MCPに対応したAIアプリケーションなら、どれも同じサーバーを使えます。毎晩その日の売上を会計システムに送るような、手順が決まっている処理は、ワークフローからAPIを直接呼びます。質問に応じてAIがシステムを選ぶ必要があるなら、MCPを使います。権限の管理は、引き続き第6層の役割です。

構築の順番：データから画面へ

多くのプロジェクトはチャット画面から始め、あとになってデータと権限でつまずきます。より安全な順番は次のとおりです。

1. 業務をひとつ選び、コードを書く前に、誰が答えを確認し、何をもって合格とするかを決めます（第7層）。 2. どのデータなら社外に出せるか、AIがどのシステムに触れるかを決めます（第6層と第5層）。この答えで、第3層と第4層をどちら側に置くかが決まります。 3. 文書ごとに管理者と最新版を決めます（第4層）。 4. モデルとルーティングのルールを選びます（第3層）。 5. ワークフローから始め、あとでエージェントループを加えます（第2層）。 6. 社員がすでに使っているチャネルをひとつだけ開きます（第1層）。

AIの設計を承認する前に確認する8項目