字节要被取代了,取代它的是token。

Karpathy昨天在推上回了Python之父Guido一句话:LLM = CPU,Agent = 操作系统内核。

但他补了一个很关键的细节:

LLM处理的数据单位不是字节,是token

这个操作系统的运行方式不是确定性的,而是统计性的。

这是一种底层计算的范式转移。

打开网易新闻 查看精彩图片

过去六十年,计算机的世界建立在字节上。

一个字符8个bit,精确,确定,不会出错。你写一个1,存进去就是1,读出来还是1。

整个互联网、所有软件、所有数据库,都建立在这种确定性上。

现在LLM来了。它的基本单位是token,不是字节。

token是模糊的,一个词可能是一个token,也可能被拆成两个。

它的输出是概率性的,同一个输入跑两遍可能得到不同的结果。

这就像从牛顿力学进入量子力学。

精确让位于概率,确定让位于统计。

Karpathy把LLM比作CPU,Agent比作操作系统内核。

如果顺着这个类比往下推:

传统计算机:CPU处理字节 → 内核调度进程 → 操作系统服务用户

AI时代:LLM处理token → Agent编排任务 → AI OS服务用户

底层的数据单位变了,上面的一切都得跟着变。

操作系统要重写,软件要重做,人和计算机的交互方式要重新设计。

与其说是对上一代的升级,不如说是彻底换了轨道。

BYTE ERA ➤ TOKEN ERA

字节的世界里,谁掌握更多的数据(字节)谁就赢。

token的世界里,谁掌握更多的token谁就赢。

字节的时代属于互联网,token的时代属于Agent。