您的位置 首页 学院

科普:词元Token是什么?

一、Token这个词是怎么来的? 很多人以为Token是AI时代才冒出来的新词,其实它历史很长。 “Token…

词元Token

一、Token这个词是怎么来的?

很多人以为Token是AI时代才冒出来的新词,其实它历史很长。

“Token”这个词源于古英语“tācen”,本意是“符号”或“标记”。1960年代,Token正式进入计算机世界,Token就此成为了计算机“读懂”指令和信息的基本单位。

此后几十年,Token的概念不断延伸,在AI大模型领域,它有了新的含义——模型处理文本的最小计算单元。

为了让中文世界有统一的说法,2026年3月,国家数据局正式将AI领域的“Token”定名为“词元”。所以现在你看到的“词元”,就是官方给Token起的中文名。

二、Token就是AI的“字数”

你用过ChatGPT、文心一言这类AI吗?你每次输入问题,AI给你回答。这个过程中,AI其实在“认字”和“写字”。每认一个字或者写一个字,就算消耗了一个Token。

简单记:1个Token ≈ 1个汉字(英文是1个单词)。比如你问“今天天气怎么样?”这7个字,大约消耗7个Token。AI回答“今天晴天”这4个字,再消耗4个Token。

所以Token就是AI处理文字的基本单位。你可以理解成“AI的字数计数器”。

三、为什么Token这么重要?

因为AI不是免费的。它背后需要巨大的计算机(GPU服务器)来运算,这些机器要用电、要散热、要维护。每处理一个Token,背后都有成本。

过去AI公司自己扛成本,免费给你用。但现在用AI的人太多,成本太高了,所以开始按Token收费——你用多少Token,就付多少钱。

四、Token工厂是什么?

既然每天有几万亿个Token要被处理,就需要专门盖“厂房”来生产这些Token。这个厂房就叫Token工厂。

它的核心是一大堆AI专用计算机(GPU)连在一起。电一插,程序一跑,就能源源不断地输出Token——也就是“回答问题”“写文章”“画图”的能力。

例如:昨天新闻里说的无锡Token工厂,用华为昇腾384超节点服务器,专门高速生产Token。

五、Token怎么收费?

现在国内三大运营商(电信、移动、联通)已经开始卖Token套餐了:

① 中国电信:1元钱买25万Token。

② 中国移动:推出“算力Token套餐”,按Token计费。

③ 中国联通:也有类似的订阅套餐。

25万Token能干嘛?大约能写一本20万字的中篇小说。所以对于普通人来说,1元钱够用好几天。

一句话总结:Token就是AI处理文字的基本单位。Token工厂就是生产这种单位的算力中心。随着AI用量暴增,Token收费成为趋势,相关硬件和运营商将长期受益。

本文来自网络,不代表龙麟社立场,转载请注明出处:https://longlin.org/archives/894

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

联系我们

邮箱: mail@longlin.org

工作时间:周一至周五,9:00-17:00,节假日休息
返回顶部