LASSIC Media らしくメディア
Transformerとは?生成AIの仕組みをわかりやすく解説
監修・編集責任者:牛尾 昭昌(株式会社LASSIC 執行役員)
この記事の結論
- Transformerは、文章の中のどの語とどの語が関係するかを一度に計算する仕組みで、いまの生成AIの土台になっています。
- 読み取りが得意なエンコーダー型と、文章を作るのが得意なデコーダー型があり、用途で使い分けます。
- 入力が長くなるほど計算が急に重くなるため、渡す文章の長さを設計の段階で見積もっておきます。
※ 本記事は2026年10月時点の公式情報(省庁・公的機関、および製品やサービスを提供する事業者が公開している資料)に基づきます。
Transformerという言葉は、ChatGPTのような生成AIの説明でよく目にします。ただ、「どんな仕組みなのか」「それまでのAIと何が違うのか」を聞かれると、答えに詰まる方も多いのではないでしょうか。
本記事では、Transformerの全体像と中心にあるAttention(注意機構)の考え方を、図と表で順に見ていきます。数式やプログラムは使わず、業務での使いどころや、開発を外部に頼むときに確かめたい点もまとめました。
目次
Transformerとは
Transformerは、2017年にGoogleの研究者らが論文「Attention Is All You Need」で発表した、AIの計算の組み立て方(ニューラルネットワークの構造)です。論文は、Attentionだけに基づき、それまで主流だった再帰や畳み込みという仕組みを使わない構造として提案しました。*1
- エンコーダー:入力の文章を読み取り、意味を数値の並びに直す部分
- デコーダー:読み取った内容をもとに、出力の文章を1語ずつ作る部分
- Attention:文章の中で、どの語がどの語をどれだけ参考にするかを決める計算
もともとは機械翻訳のために作られましたが、いまでは大規模言語モデル(LLM)や画像の認識にも使われています。
Attentionの仕組み
Attentionは、図書館で調べ物をする流れにたとえられます。調べたい内容(Q:クエリ)と、本の見出し(K:キー)を照らし合わせ、よく合う本ほど中身(V:バリュー)を多く読み取ります。
- ステップ1:入力の語ごとに、Q・K・Vの3つの数値の並びを作る
- ステップ2:Qとそれぞれの語のKを照らし合わせ、相性を点数にする
- ステップ3:点数を、合計が1になる割合に直す
- ステップ4:割合に応じてVを足し合わせ、周りの語の情報を取り込んだ結果を出す
たとえば「それ」という語は、この計算で、前に出てきた名詞と強く結び付きます。原論文では、この計算を8組並べて同時に行い、それぞれが別の観点で語どうしの関係をとらえるようにしています。*1
以前のAIとの違い
Transformerの前は、RNN(再帰型ニューラルネットワーク)で、文章を先頭から1語ずつ順番に処理するのが主流でした。原論文は、この順番に処理する性質が、計算を並べて同時に進める妨げになると指摘しています。*1
| 比べる点 | RNN | Transformer |
|---|---|---|
| 処理の進め方 | 1語ずつ順番に処理する | すべての語の組み合わせを一度に計算する |
| 離れた語どうしの結び付き | 間の語を順にたどる必要がある | 1回の計算で直接結び付く |
| 長い文章の重さ | 長さに比例して処理が増える | 長さの2乗に比例して計算が増える |
一度に計算できるため、大量のデータでの学習を速く進められます。この性質が、巨大なモデルを作る生成AIの発展につながりました。一方で、表の最後の行のとおり、長い文章を扱うと計算が急に重くなるという弱点もあります。
使いどころと注意点
原論文の後、エンコーダーかデコーダーのどちらかだけを使う形が広がりました。2018年のBERTの論文は、BERTを左右両方の文脈を見る形、OpenAIのGPTを左から右へ文脈を見る形として対比しています。*2
- エンコーダー型(BERTなど):文書の分類や問い合わせの振り分け、検索など、読み取って判断する用途
- デコーダー型(GPTなど):文章の生成、要約、対話など、1語ずつ作っていく用途
- 両方を使う型:翻訳のように、ある文章を別の文章に変える用途
対象は文章だけではありません。Vision Transformerは、画像を小さな区画に分け、文章の語と同じように並べて画像を分類しました。*3
注意したいのは長い入力の扱いです。FlashAttentionの論文は、自己注意の計算の手間とメモリーが文章の長さの2乗に比例して増えるため、長い文章では遅く、メモリーを多く使うと述べています。*4 一度に扱える量の考え方は「LLMのトークンとコンテキストウィンドウとは」で、自社での使い方は「LLMファインチューニングとRAGの使い分け」で扱っています。
外部に委託するときに確認しておきたい点
Transformerを使ったシステムの開発を外部に頼むときは、次の点を事前に確かめておくと、費用や応答の遅さで後から困る事態を防ぎやすくなります。
- モデルの選び方:用途に合う型を選んでいるか。外部のAPIを使うか、自社の環境で動かすか
- 入力の長さの見積もり:扱う文書の長さと、1回に渡す量の上限を決めているか
- 評価の方法:業務のデータで測る指標と目標の水準を、開発の前に合意できるか
- 運用後の見直し:応答時間や費用を監視し、入力の傾向が変わったときに再評価するか
より小さなモデルを自社の環境で動かす選択肢は「SLM(小規模言語モデル)の活用」で扱っています。
まとめ:Transformerで確かめておきたい3つの点
Transformerで確かめておきたい点は3つです。第一に、文章の中のどの語とどの語が関係するかをAttentionで一度に計算する仕組みで、いまの生成AIの土台になっていること。第二に、読み取りが得意なエンコーダー型と、文章を作るのが得意なデコーダー型があり、用途で使い分けること。第三に、入力が長くなるほど計算が急に重くなるため、渡す文章の長さを設計の段階で見積もっておくことです。
よくある質問
TransformerとChatGPTはどんな関係ですか
ChatGPTのもとになっているGPTは、Transformerのデコーダーの部分を使って文章を1語ずつ作るモデルです。Transformerは土台の仕組み、ChatGPTはその仕組みで作られたサービス、と考えると分かりやすくなります。
Transformerを使うには、自社でAIを学習させる必要がありますか
多くの場合、その必要はありません。公開されている学習済みのモデルや、生成AIのサービスを使うところから始められます。自社の業務に合わせたいときは、追加の学習や、社内の文書を検索して渡す構成を検討します。
長い文書を読ませるときの注意点はありますか
モデルごとに一度に扱える量の上限があり、長いほど処理が重くなります。文書を分けて渡す、必要な部分だけを検索して渡す、といった工夫を設計に入れておきます。
生成AI・機械学習システムの開発のご相談
元請(プライムベンダー)として、Transformerを使ったモデルの選定と検証から、業務システムへの組み込み、保守・運用までご提案します。
2006年の創業以来、一次請けのシステムインテグレーターとして、企業のシステム開発と保守・運用を受託してきました。
出典
- *1 参考:Ashish Vaswani ほか「Attention Is All You Need」(arXiv:1706.03762、NIPS 2017)(https://arxiv.org/abs/1706.03762)。出典:概要(Attentionだけに基づき再帰と畳み込みを使わない構造)、序論(RNNの逐次的な性質が並列化を妨げる点)、3.2.2節(8つのヘッド)を参照(2026年10月確認)
- *2 参考:Jacob Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(arXiv:1810.04805、2018年)(https://arxiv.org/abs/1810.04805)。出典:BERTの双方向の構成と、GPTの左から右への構成の対比を参照(2026年10月確認)
- *3 参考:Alexey Dosovitskiy ほか「An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale」(arXiv:2010.11929、ICLR 2021)(https://arxiv.org/abs/2010.11929)。出典:画像をパッチに分けて標準のTransformerに入力する方法の説明を参照(2026年10月確認)
- *4 参考:Tri Dao ほか「FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness」(arXiv:2205.14135、2022年)(https://arxiv.org/abs/2205.14135)。出典:自己注意の時間とメモリーの計算量が系列の長さの2乗に比例するという説明を参照(2026年10月確認)