等第一个token要多久,后面的token来得有多快?这两个数字,Rockchip在RKNN-LLM v1.3.1的基准测试里都列了出来,测的是Spark-X2.5 1.7B。

打开网易新闻 查看精彩图片

测试条件是128个输入token,要求生成64个新token,CPU和NPU都跑在各自最高频率上。两行结果对应不同的量化格式。

对打算实际部署的板子来说,先按它列出的格式起步,再用自己的提示词长度去测一遍。首token时间和生成速度要分开记录,别混成一个数看。