来源:市场资讯

(来源:Netskao)

今年关注 AI 圈的朋友,对 Token 这个词一定不再陌生。

尤其是今年 AI 开源智能体 OpenClaw 爆火之后,大家在忙着养龙虾之余,最心疼的恐怕就是那一串串飞速消耗的 Token 账单。

打开网易新闻 查看精彩图片

Token 到底是什么?

Token 本身是一个英文单词,中文读作 ˈtəʊkən,谐音 托肯(重音在前面),它本身是一个多领域通用术语。

在网络登录里,Token 是身份令牌;在区块链里,它是数字权益凭证;在编程里,它是代码最小语法单元。

但在我们今天重点聊的 AI 大模型里,Token 是 AI 处理信息的最小单位。其主要用来控制上下文长度、计算费用、衡量算力消耗。

打开网易新闻 查看精彩图片

目前通用的换算标准大概是:1 个汉字 ≈ 1 Token,而 1 个英文单词 ≈ 0.75 Token。

过去,Token 在国内的译名五花八门,切片、标号、字符……各种叫法都有,听得人云里雾里。

现在,AI 领域的 Token 终于有了正式官方中文名字——词元,养龙虾的朋友以后别再乱叫了!

近日,国家数据局局长刘烈宏在近期召开的中国发展高层论坛上,正式确认 Token 标准中文译为「词元」。

打开网易新闻 查看精彩图片

这个名字起得很妙,“词”代表语义基础,“元”代表不可再分的最小要素。

目前,苹果中国官网、央视新闻以及中国计算机学会(CCF)都已经统一了这一称呼。这不仅是术语的规范,更是 AI 技术本土化落地的一个里程碑。

我们为什么要关注“词元”?因为这可能直接关系到你的钱包。

现在主流 AI 模型计费逻辑非常透明,就像手机流量一样,计费公式如下:

总费用 = (输入词元 + 输出词元) × 单价

养过“小龙虾”(OpenClaw)的朋友感触最深。目前 AI 智能体在执行用户任务时,需要反复调用大模型 API,词元消耗量惊人。

之前有国外养龙虾网友算过账,一个重度用户一个月能烧掉 1.8 亿个词元,账单高达 3600 美元(约合人民币 2.6 万元)。

最让人心惊胆战的是,如果任务进入死循环,AI 会疯狂读取、调用、执行,你没设额度上限的话,可能一觉醒来几千块钱就烧没了。

打开网易新闻 查看精彩图片

这也难怪不少网友吐槽,现阶段普通人真“养不起虾”,尤其是调用国外优秀 AI 大模型,费用真的不便宜。

以前叫 Token,感觉烧的是一串字符。现在官宣叫词元,听着像是在烧真金白元,看着飞涨的账单,感觉养龙虾的心疼感更强了。

不过,虽然大家在吐槽贵,但数据骗不了人。

最新数据显示,截止今年 3 月,我国词元(Token)日均调用量已突破 140 万亿次,比 2024 年初翻了 1000 多倍,堪称国内 AI 发展的一个里程碑。

打开网易新闻 查看精彩图片

日均调用量暴增,说明我国 AI 正在真正走进各行各业,产业规模和竞争力都在快速提升。且随着国内厂商开启价格战,AI 调用成本也正在大幅下降,未来将加速行业普及,让人人养龙虾成为了可能。

但这也意味着,未来词元可能将像电费、水费、手机流量一样,成为我们数字生活的基础支出。你输入的每一个字,AI 生成的每一张图,都在消耗词元。虽然它帮我们解放了双手,提升了效率,但我们每月开支里,可能又要多出一笔名为“词元”的费用了

打开网易新闻 查看精彩图片