定義
Token 是 AI 語言模型處理文字的基本單位。模型讀取和生成文字時,不是逐字處理,而是把文字切割成一塊塊的「Token」,每個 Token 可能是一個英文單字、一個中文字,或者幾個字母組成的片段。
對中文來說,大約每 1 個中文字對應 1 到 2 個 Token;英文則大約每 4 個字母對應 1 個 Token。使用 ChatGPT、Claude 等 AI 服務時,費用是以輸入和輸出的 Token 總數計算的,所以理解 Token 的概念有助於控制 AI 使用成本。
每個 AI 模型都有「Context Window」(上下文視窗)的限制,也就是一次對話能處理的最大 Token 數,超過這個限制,AI 就會「忘記」之前的對話內容。
為什麼中小企業需要了解這個?
了解 Token 的概念,有助於你預估 AI 工具的使用成本,避免不必要的費用支出。例如,把一份 50 頁的 PDF 直接丟給 AI 分析,可能會消耗大量 Token;改為先整理出關鍵摘要再交給 AI 處理,就能大幅節省費用。
同時,理解 Context Window 的限制,可以幫助你設計更有效的工作流程,例如將長文件分段處理,避免 AI 因超出限制而遺漏重要資訊。
實際應用範例
台中一家貿易公司每月處理大量英文採購合約,起初直接把整份合約丟給 AI 翻譯,費用較高。後來學習了 Token 概念,改為先用 AI 篩選出關鍵條款,只翻譯重要部分,每月 AI 費用降低了約 60%。
桃園一位電商賣家用 AI 每天回覆數十封客服信,透過設計精簡的 Prompt 模板,減少每次請求的 Token 消耗,在相同預算內處理了更多客服需求。
