Token是大模型最基础、最常见的概念,如何翻译没有定论,“标记”“词”“令牌”都有,复旦大学计算机学院邱锡鹏教授将其翻译为“词元”,个人认为比较恰当。
众所周知,大语言模型训练语料数量、上下文的限制、生成速度都用Token表示。
比如:
Token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。
Token可以是单个字符,也可以是多个字符组成的序列。
网上各种资料,关于一个 token是多少汉字说法不一。
最为知名的大模型ChatGPT,模型使用Byte Pair Encoding(BPE,一种子词分词方法,可以将词语进一步划分为更小的可重复部分)进行文本编码,这种编码方式在处理不同语言时的效率可能会有所不同。
GPT-3:每词输出最高上限为2049个Token,大约可以写出1000字的中文文章、1720字的英文文章 GPT-4:每词输出最高上限为32768个Token,约是16056个中文字、25000个英文字
对于汉语等字形语言,一个token可能只包含一个字符,但对于英语等词素语言,一个token可能包含一个或多个单词。
OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”
1个字母=1个字符,举例,hello=5字符 1个汉字=1个字符,举例,你好=2字符
这里有OpenAI官方的token计算工具 :https://platform.openai.com/tokenizer
![](http://dingyue.ws.126.net/2024/0713/0357476aj00sgjlxm004nd200u000p8g00i800fb.jpg)
就如刚才所说,不同模型可能有自己的切分方法,对应地,一个Token对应地汉字数也不一样。一个Token对应汉字,0.75到1.8个汉字不等。
百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。
网址:https://console.bce.baidu.com/support/#/tokenizer
![](http://dingyue.ws.126.net/2024/0713/c061524bj00sgjlxn003sd200u000h3g00i900ae.jpg)
阿里通义千问也有:https://dashscope.console.aliyun.com/tokenizer
![](http://dingyue.ws.126.net/2024/0713/f773cfdfj00sgjlxo003td200u000k3g00i800c7.jpg)
所以一个Token有多少个汉字,具体取决于分词器的设计。
目前的各种tokenization技术,涉及到将文本分割成有意义的单元,以捕捉其语义和句法结构,如字级、子字级(例如,使用字节对编码或 WordPiece)或字符级。
根据特定语言和特定任务的需求,每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式,并依赖OpenAI开源的tiktoken软件包执行分词。
字节对编码(BPE):为AI模型构建子词词汇,用于合并出现频繁的字符/子字对。
子词级tokenization:为复杂语言和词汇划分单词。将单词拆分成更小的单元,这对于复杂的语言很重要。
单词级tokenization:用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token,它很简单,但受到限制。
句子片段:用习得的子词片段分割文本,基于所学子单词片段的分段。
分词tokenization:采用不同合并方法的子词单元。
字节级tokenization:使用字节级token处理文本多样性,将每个字节视为令牌,这对于多语言任务非常重要。
混合tokenization:平衡精细细节和可解释性,结合词级和子词级tokenization。
关于tokenization,如果大家感兴趣,下一篇我详细讲讲。
最后再推荐一个网站,可以一目了然地查看大模型性能:https://llmbenchmark.liduos.com/?r=cdr
这个网站会实时展示不同大模型的:TTFT、TPS 和 Total,表头支持排序和筛选。
![](http://dingyue.ws.126.net/2024/0713/49399a93j00sgjlxq008vd200tv00vzg00i900jj.jpg)
llmbenchmark.liduos.com
是@juberti的团队发布thefastest.ai
的国内版
大家如果对国外大模型API性能感兴趣可以访问:https://thefastest.ai
这个项目还是开源的:https://github.com/fixie-ai/thefastest.ai
![](http://dingyue.ws.126.net/2024/0713/62f34d53j00sgjlxs008qd200tk00zcg00i900lt.jpg)
最后推一下我的星球:只聊技术变现,不复制粘贴资讯,不会搬运他人观点。我会在这里分享对新技术的思考,风口赚钱项目,介绍变现套路,为大家答疑解惑。你可以把我当作你的另一双眼睛,帮你筛选,解读最有价值的信息。现在加入附赠1)AI资料大礼包;2)GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM国内网络免费使用;3)部分公众号付费专栏或付费阅读的文章免费畅读;4)AI绘画、高效AI工具、高质量资料分享;5)微信群&有问必答
热门跟贴