生成AI・LLM
トークンとは？意味・仕組みをわかりやすく解説
とーくん / Token ／ 最終更新日：2026年7月7日
30秒でわかる定義
トークンとは、LLMがテキストを処理する際の最小単位で、単語・部分語・記号などに分割された『かたまり』です。モデルはテキストをそのままではなくトークン列として扱い、料金やコンテキスト長（一度に扱える量）もトークン数で数えます。
仕組み・基本の流れ
- 1入力テキストをトークナイザーがトークンに分割する（日本語は1文字〜数文字、英語は単語や部分語単位が多い）
- 2各トークンをID・ベクトルに変換してモデルに入力する
- 3モデルは次のトークンを1つずつ予測して出力を生成する
- 4入力＋出力の合計トークン数がコンテキスト長の上限を超えないよう管理する
実務でのポイント：多くの生成AI APIは『入力トークン＋出力トークン』の合計で課金されます。日本語は英語よりトークン消費が多くなりやすいため、長文処理やRAGではコンテキスト長とコストの見積もりが重要です。
関連する用語
このスキルを活かせる職種と年収は？
トークン・コンテキスト長の理解は、LLMアプリのコスト設計・プロンプト設計の基礎です。API利用料やレスポンス速度を最適化できるエンジニアは実務で重宝されます。
よくある質問
Q. 1トークンは何文字くらいですか？
A. 言語やトークナイザーによります。英語ではおおよそ1トークン=4文字前後（≒0.75単語）、日本語は1文字が1〜複数トークンになることも多く、英語より消費が多くなりがちです。
Q. コンテキスト長（コンテキストウィンドウ）とは？
A. モデルが一度に扱えるトークン数の上限です。入力と出力の合計がこの範囲に収まる必要があり、長い文書を扱うRAGなどでは分割やコンテキスト設計が重要になります。