生成AI・LLM
トークナイザとは？意味・仕組みをわかりやすく解説
とーくないざ / Tokenizer ／ 最終更新日：2026年7月7日
30秒でわかる定義
トークナイザとは、テキストをLLMが扱える最小単位（トークン）に分割するプログラムです。どのように分割するかでトークン数・コスト・多言語対応が変わるため、LLMの入出力設計における重要な要素です。
仕組み・基本の流れ
- 1入力テキストを、あらかじめ学習した語彙（ボキャブラリ）に基づいて分割する
- 2BPE（Byte Pair Encoding）やUnigram、WordPieceなどのアルゴリズムで、頻出する部分文字列をまとめてトークン化する
- 3各トークンを数値ID・ベクトルに変換してモデルへ渡す
- 4出力側では、生成されたトークンIDを逆変換してテキストに戻す（デコード）
実務でのポイント：英語は単語・部分語単位で効率的にトークン化される一方、日本語はトークン消費が多くなりがちです。モデルごとにトークナイザ（語彙）が異なるため、同じ文章でもトークン数は変わります。コスト見積もりやコンテキスト長の設計で重要になります。
関連する用語
このスキルを活かせる職種と年収は？
トークナイザの仕組み（BPE等）の理解は、LLMアプリのコスト・多言語対応・プロンプト設計の最適化に直結します。入出力の効率を詰められるエンジニアは実務で重宝されます。
よくある質問
Q. トークナイザによってトークン数は変わりますか？
A. 変わります。モデルごとに語彙（ボキャブラリ）や分割アルゴリズムが異なるため、同じ文章でもトークン数は変動します。特に日本語は英語よりトークン消費が多くなりやすい点に注意が必要です。
Q. BPE（Byte Pair Encoding）とは何ですか？
A. 頻繁に隣り合う文字・部分語のペアを繰り返し統合して語彙を作るトークン化手法です。未知語にも部分語の組み合わせで対応でき、多くのLLMのトークナイザで採用されています。