AIブームの中で、「Token(トークン)」という概念への関心が高まっている。大規模言語モデル(LLM)の利用量を測る指標の一つであり、LLM企業の料金プランにおける課金単位としても用いられている。人民日報微信(WeChat)公式アカウントが伝えた。
3月23日に開かれた中国発展ハイレベルフォーラム2026年年次総会で、国家データ局の劉烈宏局長は、「Token」の中国語訳について「詞元」と説明した。劉氏は、Tokenについて、AI時代における価値の基準の一つであると同時に、技術供給とビジネス需要を結びつける単位でもあると述べた。これにより、「Token」の中国語訳として「詞元」が示された形だ。
中国の1日平均のToken使用量は、2024年初頭の1000億から2025年末には100兆に増加し、2026年3月には140兆を超えた。
詞元(Token)とは、大規模言語モデルが情報を処理する際の最小単位を指す。深圳理工大学コンピューティングマイクロエレクトロニクス学院の馬智恒助理教授は、「モデルに入力される前に、テキストはTokenに分割され、ベクトルに変換される。例えば、中国語は通常、1文字が1個から2個のTokenに対応しており、ユーザーの質問やAIの回答のたびに一定量のTokenが消費される」と説明した。
また、深圳計算科学研究院崖山LABの責任者である欧偉傑氏は、「計算能力を電力に例えるなら、Tokenは消費される電力量に相当し、AIの活動量や処理規模を測る指標になる」と述べた。

(画像提供:人民網、画像著作権はCFP視覚中国所有のため転載禁止)