土台
アテンション（注意機構）とは？意味・仕組みをわかりやすく解説
あてんしょん / Attention ／ 最終更新日：2026年7月7日
30秒でわかる定義
アテンション（注意機構）とは、入力の中で「どの部分に注目すべきか」を数値化して重み付けする仕組みです。Transformerの中核技術で、文中の離れた単語同士の関係も並列に捉えられるため、長い文脈の理解や大規模言語モデル（LLM）の性能を支えています。
仕組み・基本の流れ
- 1各トークンから Query（問い合わせ）・Key（鍵）・Value（値）の3つのベクトルを作る
- 2QueryとKeyの類似度を計算し、「どのトークンにどれだけ注目するか」の重み（アテンションスコア）を求める
- 3その重みでValueを加重平均し、文脈を反映した新しい表現を得る
- 4複数の観点で並列に行う『マルチヘッドアテンション』で、多様な関係性を同時に捉える
実務でのポイント：自分自身の系列内で注意を計算する『セルフアテンション』がTransformerの基本です。計算量が系列長の2乗に比例するため、長文処理を効率化するFlashAttentionや各種の近似手法が研究・実装されています。
関連する用語
このスキルを活かせる職種と年収は？
アテンション・セルフアテンションの理解は、生成AI・MLエンジニアの技術面接で問われる基礎です。モデルの挙動を説明でき、長文処理や効率化の設計に活かせる人材が評価されます。
よくある質問
Q. アテンションとセルフアテンションの違いは？
A. アテンションは一般に『ある系列が別の系列のどこに注目するか』を計算する仕組みで、セルフアテンションは『同じ系列内で各トークンが他のトークンにどれだけ注目するか』を計算するものです。Transformerではこのセルフアテンションが中心的に使われます。
Q. マルチヘッドアテンションとは何ですか？
A. アテンションを1種類だけでなく複数（ヘッド）並列に計算し、それぞれ異なる観点（文法・意味・位置関係など）の関係を同時に捉える仕組みです。得られた複数の結果を結合することで、より豊かな文脈表現が得られます。