LASSIC Media らしくメディア
LLMのトークンとコンテキストウィンドウとは｜仕組みと費用
生成AIに長い文章を読ませたら、途中から内容を無視した答えが返ってきた。あるいは、使った覚えのない項目で利用料金が思ったより高い——。生成AIを業務で使い始めると、こうした戸惑いに出会います。その裏側にあるのが、「トークン」と「コンテキストウィンドウ」という、生成AIの土台となる仕組みです。ここを押さえておくと、料金の見通しや、長い文章をどう扱うかの判断がぐっとしやすくなります。
専門的に聞こえますが、考え方そのものは難しくありません。本記事では、生成AIの業務活用を進める情報システム部門や事業部門の担当者に向けて、トークンとコンテキストウィンドウとは何か、料金や制限とどうつながるのか、長い文章をどう扱うか、そして外注の勘所を整理します。
目次
トークンとは——認証の「トークン」との違い
トークンとは、生成AIが文章を処理するときに使う、文章を区切った細かな単位を指します。生成AIは、文章をそのまま丸ごと扱うのではなく、単語や、単語をさらに分けた断片といった小さなかたまりに区切ってから読み書きします。たとえば「新商品の案内を書いて」という指示は、「新商品」「の」「案内」「を」「書い」「て」といった具合に、いくつかのトークンに分けて処理される、というイメージです。区切り方は使うAIによって異なりますが、文章が長くなるほどトークンの数は増えます。
ここで一つ、注意しておきたい点があります。IT の分野では「トークン」という言葉が別の意味でも使われます。ログイン時に発行される認証のトークンや、金融のセキュリティトークンなどです。それらは本人確認や権利を表す「しるし」であり、本記事で扱う生成AIのトークンとは、まったくの別物です。ここでいうトークンは、あくまで「AIが文章を数えるときの単位」を指します。この区別を最初に押さえておくと、混乱を避けられます。
なぜトークンが大切なのかというと、生成AIの料金も、一度に扱える文章の量も、この「トークンの数」を基準に決まるからです。文字数でも単語数でもなく、トークンの数が物差しになる——ここが、生成AIならではの勘所です。
この記事のポイント
- トークンは、生成AIが文章を区切って数える単位で、認証のトークンとはまったくの別物です。
- コンテキストウィンドウは、一度に扱えるトークンの上限で、入力と出力がこの枠に収まる必要があります。
- 料金も制限もトークン数で決まるため、長い文章は要約・分割・検索などで扱う工夫が要ります。
コンテキストウィンドウとは
コンテキストウィンドウとは、生成AIが一度のやり取りで扱えるトークンの上限を指します。いわば、AIが一度に見渡せる「箱の大きさ」です。大切なのは、この箱に、こちらが渡す入力（指示や、参考として渡す資料など）だけでなく、AIが返す出力（答え）も含めて収まる必要がある、という点です。入力が大きすぎれば、その分、答えに使える余地は狭まります。
では、この上限を超えるとどうなるのでしょうか。渡そうとした文章が長すぎれば、そもそも入り切りません。また、対話を続けていくと、やり取りが積み重なってトークンが増え、上限に達すると、古いやり取りが箱から押し出されていきます。これが、「長い会話の途中で、AIが前に言ったことを忘れたように振る舞う」現象の正体です。近ごろは、この箱がかなり大きなAIも登場していますが、それでも上限はあり、大きいほど扱う料金も上がりがちです。箱は無限ではない、という前提で、何をどこまで渡すかを考えることになります。
料金・制限とのつながり
トークンとコンテキストウィンドウは、実務で気になる二つのことに直結します。全体像をつかんでおくと、使い方の判断がしやすくなります。この関係を図にすると、次のとおりです。
一つは、料金です。多くの生成AIのサービスは、やり取りしたトークンの数に応じて課金します。入力したトークンと、出力されたトークンの合計が多いほど、費用は積み上がる仕組みです。長い資料を毎回まるごと渡していると、気づかないうちに費用がふくらむ、ということが起こります。もう一つは、入力の制限です。前述のとおり、渡せる文章の量はコンテキストウィンドウの上限に縛られます。加えて、日本語は英語に比べて、同じ内容でもトークンの数が多くなりやすい傾向があるとされます。同じ文字数でも、扱うトークンが増えれば、料金や制限の面で不利に働くことがある、というわけです。だからこそ、渡す文章を必要な分にしぼる工夫が、費用と使い勝手の両面で効いてきます。
長い文章をどう扱うか
コンテキストウィンドウに収まらないほど長い文章を扱いたい場面は、業務ではよくあります。そうしたときの打ち手を整理しました。
| 打ち手 | やること | 向く場面 |
|---|---|---|
| 要約する | 先に短くまとめてから渡す | 大意をつかめれば十分なとき |
| 分割する | 章ごとに小分けにして扱う | 長い文書を順に処理したいとき |
| 検索して渡す | 関係する部分だけ探して渡す | 大量の資料から答えを引くとき |
大意をつかめれば十分な場面では、あらかじめ要約してから渡せば、トークンを節約できます。長い文書を順に扱いたいなら、章ごとに分割して小分けに処理する手があります。そして、大量の資料の中から答えを引きたい場合に有力なのが、質問に関係する部分だけを検索して渡すRAGという仕組みです。全文を毎回渡す代わりに、必要な箇所だけをコンテキストに載せることで、上限にも料金にもやさしくなります。どれか一つに決めるというより、扱う文章の性質に合わせて使い分けるのが現実的です。
つまずきやすい難所
トークンとコンテキストウィンドウには、あらかじめ想定しておきたい難所があります。踏まえておくと、思わぬ費用や品質の低下を避けやすくなります。
一つ目は、文字数の感覚で見積もってしまうことです。料金や制限はトークン数で決まるため、文字数だけを目安にすると、実際とずれます。とくに日本語は多めに数えられやすい点に注意が要ります。二つ目は、長文を渡せば渡すほど賢くなると思い込むことです。関係の薄い情報まで大量に渡すと、費用がかさむうえ、かえって答えの焦点がぼやけることもあります。渡す量と質は別ものです。三つ目は、会話の「記憶」への過信です。対話が長くなれば古い内容は押し出されるため、大事な前提は折に触れて伝え直す必要があります。四つ目は、箱の大きさだけで選んでしまうことです。コンテキストウィンドウが大きいほど便利ですが、そのぶん料金や応答の速さに響くこともあり、用途に見合うかを見極める必要があります。
外注時に確認しておきたい点
生成AIの業務活用を外部に委託する場合は、トークンとコンテキストウィンドウに関して、次の点を事前にすり合わせておくと、認識のずれを防ぎやすくなります。まず、想定する利用量と料金の見通しです。どれくらいのトークンをやり取りする見込みかを踏まえて、費用の目安を一緒に立てておきたいところです。ここが曖昧なまま進むと、運用が始まってから費用に驚くことになりかねません。
次に、長い文章をどう扱う設計にするかです。要約・分割・検索のどれを、どの場面で使うのか——用途に見合った組み合わせを設計してもらうと、費用と使い勝手の両立が図れるはずです。あわせて、プロンプトの設計で指示を簡潔にする工夫や、トークン課金を踏まえたコストの最適化まで含めて相談できると、無駄なく運用できます。トークンや上限は、使うAIによって扱いが変わるため、どのAIを前提にするのかも含めて確認しておくと、任せたあとのつまずきを抑えやすくなります。
まとめ：トークンとコンテキストで押さえる3つの視点
トークンとコンテキストウィンドウは、生成AIの料金や制限を理解するうえで欠かせない土台です。押さえておきたい視点は3つに整理できます。第一に、トークンは生成AIが文章を区切って数える単位であり、認証などの「トークン」とは別物だと理解すること。第二に、コンテキストウィンドウは一度に扱えるトークンの上限で、入力と出力がこの枠に収まる必要があり、超えると入り切らなかったり古い内容が押し出されたりすること。第三に、料金も制限もトークン数で決まるため、長い文章は要約・分割・検索などで必要な分にしぼって扱うことです。この3点を踏まえておけば、「料金が思ったより高い」「長文がうまく扱えない」という戸惑いを避けやすくなります。設計や費用の見極めに不安があれば、外部の手を借りるのも一つの選択肢です。
よくある質問
生成AIのトークンと、ログインのトークンは同じですか。
別物です。ログインの認証トークンや金融のセキュリティトークンは、本人確認や権利を表す「しるし」です。本記事で扱う生成AIのトークンは、AIが文章を処理するときに区切る細かな単位を指します。同じ言葉ですが意味がまったく異なるため、生成AIの文脈では「文章を数える単位」と捉えてください。
コンテキストウィンドウを超えるとどうなりますか。
渡そうとした文章が上限を超えると、そもそも入り切りません。また、対話を続けてやり取りが積み重なり上限に達すると、古いやり取りが押し出されていきます。これが、長い会話の途中でAIが前の内容を忘れたように振る舞う理由です。大事な前提は、折に触れて伝え直すとよいでしょう。
なぜ料金がトークンで決まるのですか。
多くの生成AIのサービスが、やり取りしたトークンの数に応じて課金する仕組みをとっているためです。入力したトークンと出力されたトークンの合計が多いほど費用は積み上がります。長い資料を毎回まるごと渡すと費用がふくらみやすいので、渡す文章を必要な分にしぼる工夫が、費用を抑えるうえで役立ちます。
日本語はトークンが多くなりやすいというのは本当ですか。
傾向として、日本語は英語に比べて、同じ内容でもトークンの数が多くなりやすいとされます。区切り方は使うAIによって異なるため一概にはいえませんが、同じ文字数でも扱うトークンが増えれば、料金や入力の制限の面で不利に働くこともあるのです。日本語で長文を扱う際は、この点も見込んでおくと見積もりがずれにくくなります。
長い文章を扱うにはどうすればよいですか。
大きく三つの手があります。大意をつかめれば十分なら、先に要約してから渡す。長い文書を順に処理したいなら、章ごとに分割して小分けに扱う。大量の資料から答えを引きたいなら、関係する部分だけを検索して渡すRAGを使う、という具合です。扱う文章の性質に合わせて使い分けるのが現実的で、いずれもトークンの節約につながります。
著者：テレリモ総研編集部 鈴木 亮佑
生成AIの費用設計・活用のご相談はLASSICへ
元請（プライムベンダー）として、利用量と料金の見通しから長文の扱いの設計・プロンプトの工夫・運用しながらのコスト最適化まで、貴社の生成AI活用に合わせてご提案します。まずはお気軽にご相談ください。
ご不明な点はお問い合わせフォームからもご連絡いただけます。
- *1 参考：Google Cloud「What are large language models (LLMs)?」（https://cloud.google.com/discover/what-are-large-language-models）。トークンや大規模言語モデルの一般的な解説の参考として。
