一台工作站能舒舒服服跑起一个模型,却可能在你真正要上线的工作流里掉链子。想判断它到底行不行,评估的起点不是机器,而是你的应用会发出什么样的请求。

先把这些写下来:模型、量化方式、上下文长度、同时请求数,以及用户看到第一个 token 之前能忍受的最长等待。测试结果要和这组设置存在一起,换个人才能原样复现这次运行。

测试从一条提示词开始,等模型加载完成后再跑一遍同样的请求。首 token 时间要和解码阶段的每秒 token 数分开记录。聊天界面里,前一个数字决定了应用手感是否跟得上;报告生成器则更看重整体完成时间。如果应用要送进长文档,再加一轮接近预期最大输入量的测试。跨机器对比时,模型和输入必须保持一致。

基准测试只用来比较同一份工作负载。llama-bench 的文档写明了如何把提示词处理和文本生成分开报告。同时保留第二项测试,专门测量应用真正暴露给用户的延迟。

接着,把机器放到它实际要共享的那套环境里观察。编辑器、浏览器和预期中的后台服务都开着,在固定时间段内反复发请求,把延迟和内存占用一起盯住。记录模型是否溢出到更慢的内存层级,或者系统是否开始换页。如果工作流还要用第二个模型做嵌入,测试期间就让那个模型常驻——只测单个小模型,会漏掉这种资源争抢。

在采购或开通资源之前,把这些测量值对到规格表上。找一份紧凑型台式机的规格示例,看清小系统之间该比哪些字段。具体配置向供应商确认,并核实软件对你所用运行时的支持情况。供应商给出的容量数字,和你实测的余量,在工作表里要分成两栏记。

最后落成一页决策记录:测试日期、运行时版本、输入规模、冷启动与热启动的测量值,以及某个配置不达标的一条具体原因。提示词和设置一并保存,同一套测试装置以后既能指导升级,也能在运行时变更后抓出性能回退。