トークンとは？ChatGPTで見かける言葉を初心者向けに解説

ChatGPTや生成AIについて調べていると、「トークン」という言葉をよく見かける。

最初は文字数の別名みたいなものかと思いやすいが、実際には少し違う。ChatGPTが文章を読み書きするときに使う、AI側の細かな単位がトークンだ。

普段ChatGPTを使うだけなら、毎回トークン数を数える必要はない。ただ、長い文章やファイルを渡すとき・API料金を見るときには意味を知っていると話が分かりやすくなる。

トークンはAIが文章を扱う単位

ChatGPTは、入力された文章をそのまま一文字ずつ読んでいるわけではない。文章をいくつかの小さなまとまりへ分割し、その単位で処理している。このまとまりがトークンだ。

1トークンは、1文字になることもあれば、単語の一部・単語全体・記号になることもある。空白や句読点が分割に影響する場合もある。

例えば英語の「tokenization」は、ひとつの単語でも複数のトークンに分かれることがある。一方で、よく使われる短い単語なら1トークンになることもある。

トークンは、人が文章を数える単位ではなく、AIが文章を処理するための単位と思っておけばいい。

トークン数と文字数はある程度連動するが、同じ数字にはならない。

OpenAIの公式説明では、英語なら1トークンは約4文字・約0.75単語が大まかな目安とされている。ただし、これは英語向けのざっくりした目安だ。

日本語は漢字・ひらがな・カタカナが混ざり、英語とは分割のされ方が違う。同じ文字数でも、文章や使用モデルによってトークン数が変わる。

そのため、「日本語100文字だから必ず100トークン」といった換算はできない。正確な数が必要な場合は、対象モデルに対応したTokenizerやトークン計測機能を使うことになる。

トークンは、こちらが送った文章だけに使われるわけではない。

APIでは、入力と出力で料金が分かれているモデルが多く、キャッシュ入力にも別料金が設定される場合がある。モデルごとに単価が違うため、APIを使う人はトークン数がそのまま費用へ関係してくる。

普段のChatGPT画面を使うだけなら、送信するたびにトークン単価を計算して支払う使い方ではない。ここはChatGPTの月額プランや利用上限と、APIの従量課金を分けて考えた方が分かりやすい。

コンテキストウィンドウは、AIが1回の処理で扱えるトークン全体の枠だ。

机の広さに例えると、入力した質問・会話履歴・資料・AIが作る回答などを、その机の上へ置いて処理するイメージに近い。入力だけで枠を全部使えるわけではなく、出力や推論に使う分も必要になる。

長い会話・大量の資料・大きなコードなどをまとめて渡すと、この枠を多く使う。上限を超える場合は、入力を短くする・重複を減らす・資料を分割するなどの対応が必要になる。

モデルごとにコンテキストウィンドウと最大出力は違うため、具体的な上限は使用モデルの説明を見るのが確実だ。

ChatGPTで「上限に達しました」「しばらく待ってください」と表示されても、それがそのままコンテキストウィンドウを使い切った意味とは限らない。

ChatGPTには、プラン・モデル・機能などによる利用上限がある。ファイルや画像のアップロード制限も、文章を処理するトークン数とは別に考える必要がある。

この4つは関係する場面もあるが、同じものではない。「トークンを減らせばChatGPTのすべての上限が必ず解除される」という話ではないので注意したい。

普段の質問や短いやり取りなら、トークン数を毎回確認しなくても問題ない。まずは「AIが文章を処理するときの細かな単位」くらいの理解で十分だ。

意識した方がいいのは、次のような場面になる。

長すぎると感じたら、不要な部分を削る・同じ説明を繰り返さない・資料を分割するだけでも扱いやすくなる。別チャットへ移る場合は、必要な前提を短くまとめて引き継げばいい。

トークンはChatGPTを使うために暗記が必要な専門用語ではない。ただ、文字数・コンテキストウィンドウ・利用上限・API料金の違いを知っておくと、AI関連の説明を読んだときに混乱しにくくなる。

参考：