OpenAI Developer Platform的tokens是什麼?
OpenAI Developer Platform 的 Tokens 是什麼?
基本定義
Token(權杖/詞元) 是 OpenAI 語言模型處理文字的基本單位。模型不是以「字」或「單字」為單位運算,而是將文字切割成一個個 token 來理解與生成。
重點說明
-
Token 的組成
- 一個 token 可能是一個完整單字、單字的一部分、標點符號,或空白字元。
- 對英文而言,大約 1 個 token ≈ 4 個字元,或約 0.75 個英文單字。
- 中文、日文等語言通常一個字會佔用較多 token。
-
輸入與輸出都計算 token
- Input tokens(輸入):你送給模型的提示(prompt)內容。
- Output tokens(輸出):模型回覆生成的內容。
- 兩者相加不能超過該模型的上下文長度(context window)上限。
-
與計費的關係
- OpenAI API 是依 token 數量計費,且輸入與輸出通常有不同的單價。
- 因此控制 prompt 長度與輸出長度可直接影響成本。
-
範例
- 英文句子「OpenAI is great!」大約會被切成 4~5 個 token。
- 可用 OpenAI 官方的 Tokenizer 工具實際測試文字被切成幾個 token。
小結
Tokens 是 OpenAI 平台衡量文字處理量、控制模型上下文長度、以及計費的核心單位。
參考資料