35. 小明正在開發一個基於 GPT 模型的「AI Agent」。在串接 API 時,他發現模型並不是 直接以「中文字」或「英文字母」作為運算單位,而是將文本切割成稱為「Token」 的單位進行處理。小明觀察到,同樣一段話轉換成 Token 後,數量會因為語言與編 碼方式而有所不同。關於大型語言模型(LLM)中 Token(權杖/代幣)的運算與 計費機制,下列敘述何者最正確?
(A)在主流的編碼中,一個繁體中文字通常剛好等於 1 個 Token,而一個英文字母也等於 1 個 Token
(B)Token 是模型理解文本的最小單位;由於編碼效率差異,處理同樣語意的內容時,繁體中文所消耗的 Token 數通常比英文多
(C)為了節省開發預算,開發者應在 Prompt(提示詞)中加入大量的空格與特殊符號,因為模型會自動忽略這些不具備語意的 Token
(D)模型所標榜的上下文視窗,例如 128K,是指模型一次最多可記憶 128,000 個中文字
答案:登入後查看
統計: A(0), B(2), C(0), D(0), E(0) #3872196
統計: A(0), B(2), C(0), D(0), E(0) #3872196