跳到主要內容

詞元Token

詞元是語言模型處理文字時使用的基本單位,模型先把文字切成詞元再運算,輸入輸出的長度與費用也以詞元計算。

英文
Token
台灣常見別名
詞元、語言模型分詞單位、Token
簡中用語
词元、令牌
類別
AI搜尋與GEO
提出者與年份
自然語言處理通用術語,沒有單一提出者
官方文件
OpenAI tiktoken 說明;OpenAI 的 Tokenizer 計數工具

詞元是什麼?

詞元的英文是 token。語言模型不是一個字一個字讀文字,而是先用一套切分規則,把句子切成一段一段的片段,再把每個片段換成一個編號,這些片段就叫詞元。一個詞元可能是整個英文單字,也可能只是單字的一部分、一個標點或一個空格。中文常見的情形是一個字被拆成好幾個詞元。負責切分的程式叫分詞器(tokenizer)。

它位在 AI 運作的最前面:使用者的問題、檢索到的網頁,都要先切成詞元才能交給模型,模型輸出答案時,也是一個詞元一個詞元產生。長度與費用都以詞元計算。

舉例

用 OpenAI 的開源工具 tiktoken 實測:英文「Search engine optimization」有 26 個字元,只切成 3 個詞元。中文「搜尋引擎最佳化」只有 7 個字,在 GPT-4 使用的編碼下要 12 個詞元,在 GPT-4o 使用的編碼下是 6 個。同一句話,換一套分詞器,詞元數就不一樣。

詞元怎麼運作

  1. 切分文字

    分詞器依規則把文字切成片段。常見的規則是 BPE(位元組對編碼),tiktoken 的說明指出它平均約 4 個位元組合成一個詞元,所以少見的字會被拆成幾段。

  2. 轉成編號

    每個片段對應詞彙表裡的一個整數,模型讀到的是這串整數。

  3. 模型運算並逐個產生輸出

    模型根據輸入的編號序列,一次預測下一個詞元,接上去後再預測下一個,直到結束。

  4. 轉回文字

    輸出的編號再換回文字。

哪些產品在用。每家模型廠商都有自己的分詞器,OpenAI 的 ChatGPT 系列用 tiktoken 公開的編碼,Gemini 與 Claude 也各有自己的版本。同樣的中文,在 GPT-4 與 GPT-4o 的編碼之間就差了一倍,所以要以該模型自己的計數工具為準。

為什麼重要

模型一次能讀的內容有上限,這個上限叫上下文視窗,單位就是詞元。一次塞進太多無關的內容,會佔掉視窗的空間,留給回答的空間就變少。估算費用時,用字數推估只能當粗略參考。

怎麼檢查

  1. 先確認平台實際使用的模型與版本,再用該廠商提供的計數工具,例如 OpenAI 的 Tokenizer 頁面或 tiktoken。
  2. 把會一起送進去的內容全部算進去:指示、對話紀錄、資料與格式符號,並保留回覆所需的空間。
  3. 中文與英文分開測,因為兩者的詞元比例差很多,混在一起算會看不出差別。

常見誤解

  • 每個中文字正好是一個詞元。

    要看分詞器。前面的實測裡,7 個字在不同編碼下是 6 個或 12 個詞元。

  • 兩個模型的詞元數可以直接互換。

    即使文字相同,不同的詞彙表會切出不同的片段與編號,詞元數與編號都不相同。

常見問題

一個詞元約等於幾個中文字?

沒有固定比例,要看模型的分詞器。實測「搜尋引擎最佳化」7 個字,在 GPT-4 的編碼是 12 個詞元,在 GPT-4o 的編碼是 6 個,所以要用該模型自己的計數工具確認。

為什麼 AI 工具用詞元計費,而不是用字數?

因為詞元才是模型實際處理的單位。不同語言與格式切出的詞元數不同,同樣一百個字,中文與英文的用量可能差很多,用詞元計費比較貼近實際用量。

AI 工具輸出的詞元也要收費嗎?

要。多數 API 把輸入與輸出的詞元分開計價,輸出通常單價較高。實際的計價規則與數字以各家官方定價頁為準,估算時要把回覆的詞元一起算進去。

閱讀更多

AK · AKSEO Labs · 上線