土台
Transformer（トランスフォーマー）とは？意味・仕組みをわかりやすく解説
とらんすふぉーまー / Transformer ／ 最終更新日：2026年7月7日
30秒でわかる定義
Transformerとは、2017年の論文『Attention Is All You Need』で提案された深層学習モデルの構造で、現在の生成AI（GPT・BERT等）の基盤となっているアーキテクチャです。『アテンション（注意機構）』により文中の単語同士の関係を並列に捉えられ、長い文脈の処理と大規模化に適しています。
仕組み・基本の流れ
- 1入力（単語）をトークンに分割し、各トークンをベクトル（Embedding）に変換する
- 2セルフアテンションで、各トークンが文中の他のどのトークンに『注目』すべきか（関連度）を計算する
- 3位置エンコーディングで単語の順序情報を加える
- 4多層のアテンションと全結合層を重ねて、文脈を反映した表現を得る
- 5用途に応じてエンコーダ（BERT系）／デコーダ（GPT系）／両方（翻訳等）の構成を使い分ける
実務でのポイント：RNN/LSTMのように逐次処理せず並列計算できるため、GPUで大規模に学習でき、これが大規模言語モデル（LLM）の発展を支えました。GPT・BERT・T5など主要なLLMはすべてTransformerを基礎にしています。
関連する用語
このスキルを活かせる職種と年収は？
Transformerの仕組み（アテンション・エンコーダ/デコーダ）の理解は、生成AI・MLエンジニアの技術面接で問われる基礎教養です。モデルの挙動を説明でき、実装に落とせる人材が評価されます。
よくある質問
Q. TransformerとGPTの関係は？
A. GPTはTransformerの『デコーダ』構造を基にした大規模言語モデルの一種です。Transformerというアーキテクチャの上に、GPT・BERT・T5などの具体的なモデルが構築されています。
Q. アテンション（注意機構）とは何ですか？
A. 文中の各単語が、他のどの単語とどれくらい関連するかを数値化して重み付けする仕組みです。これにより離れた単語同士の関係も捉えられ、長い文脈の理解が可能になります。