LASSIC Media らしくメディア

LASSIC IT事業部｜元請（プライムベンダー）としてシステム保守・運用を受託

プライベートLLM基盤とは、自社管理下でLLMを運用する仕組み

プライベートLLM基盤とは、大規模言語モデル(LLM)をオンプレミス環境や自社専用のVPC(Virtual Private Cloud。クラウド上に区画された自社専用のネットワーク空間)に配置し、外部のAPI事業者を介さずに自社の管理下で運用する仕組みを指します。ChatGPTなどの外部APIを使う方式とは異なり、入力したデータが自社のネットワーク外に出ない構成を取れる点が特徴です。

プライベートLLM基盤という選択が検討されるのは、機密データや個人情報を外部に送れない業種・業務が背景にあることが多いです。加えて、契約上のデータ取扱い制限や、社内規程で外部SaaSへの入力を禁止しているケースも見られます。

構築の対象は、オープンウェイトモデル(パラメータが公開され自社環境で動かせるモデル)の選定にとどまりません。GPUサーバーの確保、推論サーバーソフトの選定、ネットワークの分離設計、認証・監査の仕組みまで、複数領域を組み合わせて初めて運用可能な基盤になります。以降の章では、それぞれの論点を順に確認していく流れです。

クラウドAPI利用との違い——データ主権と機密性で使い分ける

ChatGPTやBedrockのような外部API型の生成AIサービスは、入力したプロンプトがAPI事業者側のサーバーで処理されます。手軽に高性能なモデルを使える一方、データの保存・処理をどこまで事業者に委ねるかは、各サービスの利用規約や契約条件に依存します。

これに対しプライベートLLM基盤は、モデルの重みそのものを自社環境にダウンロードし、推論処理も自社の管理下にあるサーバー上で実行します。データが外部の第三者環境を経由しないため、機密性の高い情報や規制対応が必要な業務でも扱いやすくなります。

なお、社内文書を参照して回答精度を高めるRAG(検索拡張生成)の仕組みは、外部API・プライベート基盤のどちらでも組み合わせ可能です。RAGの構成そのものについては別稿で扱い、本稿ではLLMを動かす基盤側の設計に絞って整理します。

オープンウェイトモデル選定——Llama・Qwen・Gemmaのライセンス

プライベートLLM基盤で使うモデルは、パラメータ(重み)が公開されているオープンウェイトモデルが中心です。代表例としてMetaのLlama、AlibabaのQwen、GoogleのGemmaが挙げられますが、いずれも利用条件が異なるため、採用前にライセンスを個別に確認する必要があります。

Llama——商用利用可だがMAU条件に注意

Llamaはコミュニティライセンスのもとで商用・研究目的の利用が認められています^*4。ただし月間アクティブユーザーが7億人を超える場合は、Metaから別途ライセンスを取得しなければなりません^*4。モデルを再配布する場合は「Built with Llama」の表記とライセンス全文の同梱も必須です^*4。

Qwen——多くのモデルがApache 2.0

QwenはAlibabaが公開するモデル群で、Qwen2.5やQwen3の主要なモデルはApache 2.0ライセンスで提供されています^*6。Apache 2.0は商用利用の制限が比較的少ないライセンスですが、サイズや世代によって条件が異なるモデルも存在するため、採用時にモデルごとのライセンスファイルを確認することが欠かせません。

Gemma——配布時は利用制限の明記が必要

GemmaはGoogleが公開する独自ライセンスのモデルです。利用規約自体に商用利用の明確な禁止はありませんが^*9、モデルや派生モデルを配布する場合は、禁止使用ポリシーを含む利用制限を契約条項として明記し、利用者に通知する義務があります^*9。社内利用に閉じるか、外部への配布・提供を伴うかで確認すべき条項が変わってきます。

推論サーバーの選定——vLLM・Ollama・TGIの使い分け

モデルの重みを用意しても、それだけでは利用できません。モデルをAPIとして提供する推論サーバーソフトを組み合わせる必要があります。代表的な選択肢がvLLM・Ollama・TGI(Text Generation Inference)です。

vLLMはUC Berkeleyで開発されたOSSの推論・サービングライブラリで、200以上のモデルアーキテクチャに対応し、PagedAttentionによる効率的なメモリ管理とOpenAI互換APIを備えています^*1。NVIDIA・AMDのGPUだけでなくTPUなど多様なハードウェアで動作し、本番運用でのスループット重視の構成に向いています^*1。

Ollamaはローカル環境での実行を主眼にしたツールです。データを学習に使わない旨が明記され、ミッションクリティカルな用途では完全にオフラインで動かせる点も特徴です^*2。検証環境や小規模利用からの立ち上げに向いています。

TGIはHugging Faceが開発した推論ツールキットで、Llamaなど主要な公開モデルに対応してきました^*3。ただし2025年12月時点でメンテナンスモードに移行しており、以後は軽微な修正のみを受け付け、後継としてvLLMやSGLangの利用が推奨されています^*3。新規に基盤を構築する場合は、この状況を踏まえた選定が必要です。

GPUサーバーとネットワーク分離の設計

推論サーバーを動かすには、モデルのパラメータ数に応じたGPUメモリを確保する必要があります。選択肢は大きく、自社データセンターにGPUサーバーを設置するオンプレミス型と、クラウドのGPUインスタンスを自社専用のVPC内に確保する方式に分かれます。

クラウドを使う場合、AWSのEC2 P5インスタンスはNVIDIA H100/H200 GPUを搭載し、1基あたり80GBのHBM3メモリを持つ構成から、8基構成で計1128GBのメモリを備えるタイプまで用意されており、大規模なLLMの学習・推論双方に使われています^*5。

AzureではAzure Machine Learningのワークスペースを仮想ネットワーク(VNet)とプライベートエンドポイントで保護し、VPN GatewayやExpressRoute、Azure Bastionを介してオンプレミス側のネットワークと保護した状態で接続する構成が案内されています^*7。Google CloudもVertex AIにおいて、VPCピアリングやPrivate Service Connectを使ったプライベートエンドポイントの構成が用意されています^*8。

GPUベンダー側の選択肢としては、NVIDIA NIMのようなプリビルドの推論マイクロサービスもあります。エアギャップ環境やプライベートクラウド、完全オンプレミスへの展開に対応し、データがセキュアな環境の外に出ない構成でvLLMやTensorRT-LLM、SGLangといった推論エンジンを動かせます^*10。本番利用にはNVIDIA AI Enterpriseのライセンスが必要になる点も踏まえて検討します^*10。

ネットワーク分離を誤ると、社内の他システムや想定外の経路からLLM基盤に到達できてしまい、機密データが意図せず外部に流出するリスクがあります。GPUサーバーの配置先だけでなく、どのサブネット・セキュリティグループから到達可能にするかまで、設計段階で明確にしておくことが求められます。

認証・監査・スケーリングの要件

ネットワークを分離しても、利用者単位の認可がなければ社内の誰でもLLM基盤にアクセスできてしまいます。APIキーやOAuth、クラウドのIAMロールなどを組み合わせ、利用者・システム単位でアクセスを制御する仕組みが欠かせません。

監査の観点では、誰がどのプロンプトを送り、どのような応答を得たかのログを残す仕組みが必要です。加えて、機密情報が意図せず出力に含まれていないかを継続的に点検する運用も求められます。ログの保存期間やアクセス権限の設計は、社内の情報セキュリティ規程と合わせて検討します。

利用が拡大した場合のスケーリングも設計段階で見込んでおく必要があります。NIMやvLLMのコンテナをKubernetes上でオートスケールさせる構成であれば、リクエスト量に応じてGPUリソースを増減させやすくなります^*10。GPUは調達リードタイムが読みにくい機材でもあるため、利用部門の増加見込みを早めに共有しておくことが実務上大切です。

内製と外注の分かれ目——必要スキルと工数で判断する

プライベートLLM基盤の構築を内製で担うには、複数領域の専門知識が要ります。GPUインフラの構築・運用、推論エンジンの選定とチューニング、モデルのライセンス確認、ネットワーク設計、認証・監査体制の構築など、いずれも専任の担当者を必要とする領域です。

既存のインフラ担当者が通常業務と並行して対応する場合、GPU特有の障害対応や推論エンジンのバージョン追従に割ける時間が限られることがあります。TGIのようにメンテナンスモードへ移行するソフトウェアも出てくるため、選定したソフトウェアの動向を継続的に追う体制も必要です^*3。

専門パートナーに委託する場合は、モデル選定からGPU基盤の構築、ネットワーク分離、認証・監査体制の設計までを一括で依頼できるかどうかが選定の分かれ目になります。自社の情報セキュリティ要件を満たしつつ運用できる体制かどうかを、契約前に確認しておくことが実務的です。

まとめ：プライベートLLM基盤構築で押さえる3つの判断軸

本稿ではプライベートLLM基盤の仕組みと構築の論点を、公式情報をもとに整理しました。要点は次の3点です。第一に、プライベートLLM基盤は外部API利用とは異なり、データを自社の管理下に置いたままLLMを運用する仕組みであり、モデル・GPU・ネットワークの3層を自社で組み合わせる必要があります。第二に、オープンウェイトモデルと推論サーバーはそれぞれライセンスや開発状況が異なり、Llama・Qwen・Gemmaの利用条件、vLLM・Ollama・TGIの現状を確認したうえで選ぶ必要があります^*1*3*4*6*9。第三に、ネットワーク分離・認証・監査・スケーリングまでを含めた運用体制の構築工数が、内製と外注を判断する軸になります。

よくある質問

著者：テレリモ総研編集部　鈴木 亮佑

ご不明な点はお問い合わせフォームからもご連絡いただけます。

1. *1　出典：vLLM「Welcome to vLLM」（vLLM Documentation）（https://docs.vllm.ai/en/latest/）
2. *2　出典：Ollama公式サイト（https://ollama.com/）
3. *3　出典：Hugging Face「Text Generation Inference」（Documentation）（https://huggingface.co/docs/text-generation-inference/en/index）
4. *4　出典：Meta「Llama 3.1 Community License」（Hugging Face model card「meta-llama/Llama-3.1-8B」記載分）（https://huggingface.co/meta-llama/Llama-3.1-8B）
5. *5　出典：AWS「Amazon EC2 P5 Instances」（https://aws.amazon.com/ec2/instance-types/p5/）
6. *6　出典：Alibaba「Qwen3-8B」ライセンス表記（Hugging Face model card）（https://huggingface.co/Qwen/Qwen3-8B）
7. *7　出典：Microsoft「Secure an Azure Machine Learning workspace with virtual networks」（Microsoft Learn）（https://learn.microsoft.com/en-us/azure/machine-learning/how-to-secure-workspace-vnet?view=azureml-api-2）
8. *8　出典：Google Cloud「Use private services access endpoints for online inference」（Vertex AI Documentation）（https://docs.cloud.google.com/vertex-ai/docs/predictions/using-private-endpoints）
9. *9　出典：Google「Gemma Terms of Use」（https://ai.google.dev/gemma/terms）
10. *10　出典：NVIDIA「NVIDIA NIM Microservices for Accelerated AI Inference」（https://www.nvidia.com/en-us/ai-data-science/products/nim-microservices/）

Tweet