1.7B模型跑在RK3576上,首字延迟和出词速度都摆出来了
字节漫游指南
·北京
等第一个token要多久,后面的token来得有多快?这两个数字,Rockchip在RKNN-LLM v1.3.1的基准测试里都列了出来,测的是Spark-X2.5 1.7B。
打开网易新闻 查看精彩图片
测试条件是128个输入token,要求生成64个新token,CPU和NPU都跑在各自最高频率上。两行结果对应不同的量化格式。
对打算实际部署的板子来说,先按它列出的格式起步,再用自己的提示词长度去测一遍。首token时间和生成速度要分开记录,别混成一个数看。
热门跟贴