什麼是 Token？理解其核心概念與多重含義
在當今科技快速演進的環境中，「Token」已成為跨領域的關鍵術語，廣泛應用於人工智慧、區塊鏈、資安與軟體開發等場景。儘管其應用情境多變，本質上，Token 代表的是一種「標記」、「單位」或「憑證」，作為數位世界中價值、權限與資訊的載體。這個詞彙源自於古英文中的「tacen」，原意為「記號」或「信物」，用以證明身份或承載某種承諾。隨著數位化浪潮席捲全球，Token 的意義也從實體信物轉化為抽象的數位元素，支撐起現代科技系統的運作邏輯。
無論是在語言模型中被用來拆解文字，在區塊鏈上代表數位資產，或是在登入系統時作為驗證憑證，Token 都扮演著橋接人類操作與機器運算的中介角色。它不僅僅是一個技術術語，更是數位互動背後的基礎結構之一。要掌握當代科技的脈動，理解 Token 在不同領域的運作方式與核心價值，已成為不可或缺的一環。
大型語言模型 (LLM) 中的 Token：AI 如何理解你的文字？
當我們與 ChatGPT 或其他生成式 AI 對話時，表面上看來是自然語言的交流，實際上背後經歷了一套精密的轉譯機制。AI 並不能直接「閱讀」文字，而是透過將輸入內容切分為最小處理單位——也就是 Token——來進行運算與理解。這類 Token 是模型內部運作的基本單位，決定了它如何解析語意、建構回應，以及消耗多少計算資源。
分詞 (Tokenization) 原理：將語言切分為最小單位
將原始文本轉換為 Token 的過程稱為「分詞」（Tokenization），這是語言模型處理自然語言的第一步。不同語言因結構差異，分詞方式也有所不同：
- 英文：通常以單字為基礎單位，但對於較長的詞彙，系統會進一步拆解。例如「transformer」可能被切為「trans」、「form」、「er」三個 Token，以提高詞根辨識與語意理解的效率。
- 中文：由於缺乏空格分隔，分詞更具挑戰性。系統需依賴統計模型、上下文語境或預先訓練的詞庫來判斷詞與詞之間的界線。例如「深度學習模型」可能被拆分為「深度」、「學習」、「模型」三個獨立 Token。
完成分詞後，每個 Token 會被轉換為高維度的數值向量（即嵌入向量），讓模型得以透過數學運算捕捉語意關係與語法結構。這個轉換過程，正是 AI 能夠「理解」人類語言的關鍵。
Token 的計算方式與限制
Token 數量是衡量 AI 模型運算負擔的重要指標，同時也影響到服務的可用性與成本。模型在處理請求時，無論是輸入提問或生成回應，都會佔用一定的 Token 數，而這些數字總和不能超過模型設定的上限。
- 計算方式：不同語言與詞彙的 Token 數量並不固定。根據 OpenAI 的分詞邏輯，一個中文字元平均約佔 1 到 2 個 Token，而英文單字則約為 0.75 個 Token。複合詞或罕見詞可能被拆分成更多片段。
- 上下文視窗 (Context Window)：這是指模型在單次運算中所能容納的最大 Token 數，涵蓋對話歷史、提示詞與生成內容。常見模型如 GPT-4 的上下文視窗可達 32,768 或更高，但若超出限制，模型將自動忽略最舊的內容。
- Token 上限的影響：當對話過長或文本過於龐大，超出上下文容量時，AI 將無法回顧早期資訊，導致「遺忘」現象。這也是為什麼在長篇寫作或複雜分析任務中，需採用分段處理策略。
Token 對 AI 應用與成本的影響
對於企業與開發者而言，Token 數量直接關聯到使用成本與系統效能。多數雲端 AI 服務（如 OpenAI、Anthropic）皆採用「按 Token 計費」模式，每千個 Token 收取固定費用。
- API 呼叫成本：每次請求的輸入與輸出 Token 數總和即為計費基礎。若未優化提示內容，可能無謂增加開支。
- 應用性能：較少的 Token 意味更短的處理時間與更低延遲，有助於提升使用者體驗。尤其在即時互動場景（如客服機器人），效率至關重要。
- 優化策略：開發者可透過精簡提示詞、摘要原始資料、使用指令更明確的提示工程（Prompt Engineering），或搭配上下文壓縮技術，有效控制 Token 消耗。此外，選擇支援更長上下文的模型，也能改善長文本處理的完整性。
舉例來說，根據 OpenAI 的官方文件，一個 Token 大致對應四個英文字符或一個中文字元。掌握此原則，有助於預估專案成本與規劃資源配置。
區塊鏈與加密貨幣中的 Token：數位世界的價值載體
在區塊鏈生態中，Token 扮演的是數位資產與權益的代表，是去中心化經濟系統的基石。與一般認知的「加密貨幣」不同，大多數 Token 並非獨立運行，而是建立在既有區塊鏈平台（如以太坊、BNB Chain）之上，用來實現特定功能或代表某種價值。
Token 與 Coin 的區別：不再混淆！
雖然「Token」與「Coin」常被混用，但兩者在技術架構與功能定位上有根本差異：
| 特性 | Coin (幣) | Token |
| 主鏈 | 擁有獨立的區塊鏈主網，作為其原生貨幣 | 建立在現有區塊鏈（如以太坊、BNB Chain）之上 |
| 功能 | 主要用於區塊鏈網路的原生支付、礦工費用 | 功能多元，代表資產、權益、服務、治理等 |
| 例子 | 比特幣 (BTC)、以太幣 (ETH)、狗狗幣 (DOGE) | USDT、UNI、NFT 等 |
簡單來說，Coin 是區塊鏈本身的「燃料」，負責維持網絡運作；而 Token 則是建構在其上的「應用程式」，擴展了區塊鏈的功能與使用場景。
常見的區塊鏈 Token 類型與功能
根據用途與法律性質，區塊鏈 Token 可分為多種類型：
- 功能型 Token (Utility Token)：提供對某個平台服務或功能的訪問權限。例如，在去中心化儲存系統中，使用者需使用特定 Token 支付儲存費用。
- 證券型 Token (Security Token)：代表現實資產（如股票、債券、不動產）的所有權或收益分配權，通常受金融監管機構規範。
- 治理型 Token (Governance Token)：賦予持有者參與協議決策的投票權。例如 Uniswap 的 UNI 持有者可對交易費率調整、資金分配等提案進行表決。
- 穩定幣 (Stablecoin)：價值與法幣（如美元）掛鉤，用於降低市場波動風險。常見如 USDT、USDC，廣泛應用於交易與支付場景。
智能合約與 Token 標準 (ERC-20, NFT 等)
多數 Token 的發行與管理皆透過「智能合約」實現。這是一種自動執行的程式碼，部署於區塊鏈上，一旦觸發預設條件，便會自動完成轉帳、兌換或分紅等操作。
- ERC-20 標準：以太坊上最普及的同質化 Token 標準，定義了基本操作如轉帳、查詢餘額與批准支出。所有符合 ERC-20 的 Token 可在錢包、交易所間自由流通，促進生態整合。根據 Ethereum 官方文件，ERC-20 規範了六項核心函數與兩項事件，確保相容性與安全性。
- NFT (非同質化代幣)：與 ERC-20 不同，NFT 具備唯一性與不可分割性，常用於數位藝術、虛擬收藏品、遊戲道具等領域。其主要標準包括 ERC-721 與 ERC-1155，支援個別資產的鑄造與交易。
資訊安全與程式開發中的 Token：授權與身份認證的基石
在資安與軟體開發領域，Token 主要用於身份驗證與權限管理，確保系統僅對合法使用者或應用開放資源。這類 Token 並非代表資產，而是作為「通行證」，控制誰能在何時、以何種方式存取服務。
安全令牌 (Security Token)：保障數位身份與交易安全
安全令牌是一種用來驗證使用者身份的硬體或軟體裝置，廣泛應用於雙因素認證（2FA）機制中。
- 硬體安全令牌：如 USB Key 或銀行動態密碼器，會定期產生一次性密碼（OTP），使用者需在登入或交易時輸入，結合傳統密碼完成驗證。此類裝置離線運作，抗釣魚能力較強。
- 軟體安全令牌：如 Google Authenticator 或 Microsoft Authenticator，安裝於智慧型手機上，原理相同但依賴裝置安全性。雖然便利，但若手機遭竊或感染惡意程式，仍存在風險。
透過結合「你知道的」（密碼）與「你擁有的」（Token），雙因素認證大幅提升了帳戶防護力，即使密碼外洩，攻擊者也難以越過第二層防線。
Access Token 與 API Token：程式互動的通行證
在現代應用程式架構中，Token 是服務間安全溝通的核心機制。
- Access Token：使用者成功登入後，由認證伺服器發放的短期憑證，允許客戶端在無需重複輸入帳號密碼的情況下，訪問受保護資源。常見於 OAuth 2.0 授權流程，例如使用「以 Google 帳號登入」功能時，第三方網站即透過 Access Token 獲取有限權限。
- JWT (JSON Web Token)：一種開放標準（RFC 7519），將使用者資訊與簽章封裝於 Token 內，可驗證完整性且無需伺服器端儲存狀態，廣泛用作 Access Token 的實作方式。
- API Token：應用程式自身用來驗證身份、呼叫外部 API 的密鑰，通常為長期有效。例如，開發者調用天氣 API 時，需附上個人 API Token 以證明授權狀態。
這兩類 Token 的生命週期設計不同：Access Token 通常短暫有效，到期需刷新；API Token 則多為靜態，一旦洩露風險極高，因此需嚴格控管存取權限與儲存方式。
銀行 Token 的應用情境
金融機構是安全 Token 的早期採用者，尤其在數位銀行與行動支付領域，Token 技術已成為標準防護措施。
- 網銀登入與交易確認：進行大額轉帳時，系統會要求輸入由硬體或軟體 Token 產生的一次性密碼，確保操作者為帳戶本人。
- 支付 Tokenization：在刷卡或綁定支付工具時，信用卡號會被替換為唯一的 Token，實際交易中傳輸的是此代碼而非真實卡號。即使資料遭竊，攻擊者也無法還原原始資訊。Visa 與 Mastercard 等支付網絡皆廣泛採用此技術，根據 Visa 官方說明，這項機制能有效降低資料外洩風險，提升整體支付環境的安全性。
Token 的未來趨勢與挑戰
隨著 Web3、元宇宙與去中心化經濟的興起，Token 的角色正持續深化與擴展。
- Web3.0 與去中心化身份 (DID)：未來使用者將能透過 Token 控制自己的數位身份，自主決定哪些服務可存取個人資料，不再依賴中心化平台。
- 元宇宙經濟：在虛擬世界中，Token 將作為虛擬土地、裝備、創作內容的擁有權證明，並支援跨平台資產流動。NFT 的應用將從藝術擴展至教育、醫療等領域。
- Token 經濟模型：專案方透過設計激勵機制，讓用戶因參與貢獻而獲得 Token 回饋，形成自循環的生態系統。這種模式已在 DAO（去中心化自治組織）中展現潛力。
- 監管與技術挑戰：全球監管機構正積極制定 Token 相關法規，特別是針對證券型 Token 與穩定幣。同時，提升區塊鏈的跨鏈互通性、擴容能力與 Token 標準的安全性，也是技術發展的重點方向。
總結：Token 的多元價值與影響
從人工智慧模型的文字處理單位，到區塊鏈上的數位資產載體，再到資安領域的身份憑證，Token 已成為貫穿數位世界的共通語言。儘管在不同場景中表現形式各異，其核心概念始終圍繞著「標記」與「抽象化」：將複雜的資訊、價值或權限轉化為可識別、可傳遞、可驗證的單位，進而實現自動化、安全且高效的數位互動。
隨著技術持續演進，Token 不僅推動了 AI 與 Web3 的創新，也重新定義了價值交換、身份管理與資料控制的方式。掌握 Token 的本質與應用，將有助於個人與企業在數位轉型浪潮中掌握先機，迎向更開放、透明且用戶主導的未來。
