OpenAI Developer Platform的tokens是什麼?
OpenAI Developer Platform 的 Tokens 是什麼?
基本定義
Token(詞元) 是 OpenAI 語言模型處理文字的基本單位。模型並非以「字」或「單字」為單位理解文字,而是先將文字拆解成一個個 token 後再進行處理。
重點說明
-
Token 的大小
- 一個 token 大約相當於英文的 4 個字元,或約 0.75 個英文單字。
- 中文、日文等語言的 token 切割方式不同,通常一個中文字可能佔用 1 個以上的 token。
-
包含的內容
- Token 不只是文字,也可能包含標點符號、空格、部分單字片段等。
- 例如 "ChatGPT" 可能被拆成 "Chat" 和 "GPT" 兩個 token。
-
用途與計費
- API 的計費是以 token 數量計算,分為「輸入(input)tokens」與「輸出(output)tokens」。
- 使用量與費用都以每千(或每百萬)tokens 為單位計價。
-
上下文長度限制(Context Window)
- 每個模型有最大 token 數量限制(輸入 + 輸出的總和),超過限制的內容會被截斷或無法處理。
-
實用工具
- OpenAI 提供 Tokenizer 工具,可實際查看一段文字會被拆成多少 tokens。
參考資料
[platform.openai.com]https://platform.openai.com/tokenizer
[help.openai.com]https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them