最近這段時間,“token工廠”一詞在科技圈有點火。
事情的起因是,在不久前舉辦的美國英偉達公司年度GTC大會(GPU技術大會)上,英偉達創始人兼首席執行官黃仁勛表示,當前的行業競爭已從大模型時代發展到token產能時代,“未來的數據中心不再是存儲文件的倉庫,而是生產token的‘工廠’”。對相關企業來說,“計算能力等同于收入”。
“token工廠”是什么?科技圈這是又在玩什么新“黑話”?
要了解“token工廠”,首先得明白什么是token。
簡單來說,token是人工智能(AI)世界里最小的語義單元,也即模型處理和生成信息的基本單位。它可以是一個詞、一段代碼,也可以是圖像或視頻中的一個像素區塊。
3月22日,在北京舉行的“騰訊云社區龍蝦公開課”活動上,參與者體驗使用騰訊AI智能體工具Workbuddy。鞠煥宗攝(新華社)
和許多人想象的不同,AI其實既不識字,也聽不懂人話。每當它需要理解人類的意圖,需要先把信息切割成token,再生成它自己可以理解的數字信息,處理完成后再反向執行這一流程,合成人類能夠理解的信息表達出來。不嚴謹地說,token有點像動畫電影《神偷奶爸》流水線上的“小黃人”,觀眾雖然弄不清每一只小黃人具體在做什么,但卻明確地知道,當一群小黃人聚在一起,奇跡就會發生。
理解token之后,就可以嘗試理解“詞元”了。
在不久前舉辦的中國發展高層論壇2026年年會上,中國國家數據局局長劉烈宏明確將Token稱為“詞元”,并將它定義為“結算單位”。對此,多位業內專家表示,這意味著,我國AI正在從能力布局邁向能力結算,從模型好不好,轉向智能服務如何計量、如何定價、如何交易。
一個譯名為什么會引起業界如此高的關注?
答案可以從兩個方面拆解。
第一,觀測層面。
數據顯示,2024年初,中國日均詞元調用量為1000億;到2025年底,躍升至100萬億;到2026年3月,已突破140萬億,兩年增長超過1000倍。日均超140萬億的詞元調用量,相當于1000萬億個中文詞匯,相當于250個中國國家圖書館的資源量。同時,中國AI大模型周調用量已連續多周領跑全球,且國產詞元價格僅為海外同類產品的十幾分之一。兩組數據說明,詞元不再只是技術術語,而成為AI商業化速度、應用深度和產業景氣度的重要觀測指標。
圖源:千圖網
第二,計費層面。
詞元作為最小的語義單元,天然就具備量化計算的屬性。它就像工業時代的電、互聯網時代的流量一樣,是AI時代核算成本的新度量衡。過去,很多企業采購軟件,買的是許可證、賬號數和部署周期;如今,越來越多企業開始按照可調用、可核算、可復盤的智能服務量計費。這種標準化、精細化的結算方式,將使得AI服務的商業化路徑變得清晰。
因此,真正值得重視的,不只是“詞元”這個譯名,更是一個新的計量系統。正如賽迪研究院人工智能研究中心副研究員鐘新龍在其署名文章中所言,詞元一詞的誕生意味著,“人工智能開始被納入更成熟的經濟敘事”。
搞清楚token和詞元之后,“token工廠”也就不難理解了。
如果我們將詞元比作數字經濟時代的“硬通貨”,那么在既定的電力和空間資源約束下,數據中心拼的是產出詞元的速度、質量和成本,每瓦特電力帶來的詞元吞吐量將替代傳統的服務器數量、存儲容量,成為決定數據中心競爭力的核心指標。
從這個意義上講,數據中心的角色正在發生根本性轉變。傳統意義上的數據中心主要用于數據的靜態存儲和網絡交換,可以被簡單視作“電子倉庫”;如今隨著AI智能體的發展,數據中心正全面轉變為持續吞吐海量數據并輸出智能內容的“電子工廠”。本質上說,數據中心已經變成了一條“智能生產線”:輸入的是電力、數據、模型和調度系統,輸出的則是AI智能體的執行能力和行業場景中的實際生產率。
圖源:千圖網
至此,真正值得關注的關鍵詞“實際生產率”出現了。
根據AI的“工作流程”,人類說出一句話之后,模型要先把文本切分成詞元,再把詞元映射成編號,隨后才能完成關聯、推斷和生成。由于切分規則不同,相同的信息會被不同的模型拆解為不同數量的詞元,相應的,模型處理問題的速度、效率甚至結果也不會完全相同。因此,詞元消耗量與模型智能程度并不能完全畫等號,真正決定結果的,仍然是模型算法、數據質量、任務設計和提示組織方式。
換言之,未來的“token工廠”,比拼的并不只是詞元調用能力,而是詞元調用與使用的綜合能力,這才是“token工廠”真實的競爭力。
來源/經濟日報(作者江子揚),原標題《白話“token工廠”》
監制/李紅光
審核/朱雙健
編輯/劉暢(見習)
校對/楊芊葉(見習)
【未經授權,嚴禁轉載!聯系電話028-86968276】
