用户拍下一张咖喱配米饭的照片,模型返回的结果是“咖喱”。这算通过还是失败?
一位测试员说通过:这道菜确实是咖喱。另一位说失败:蛋白质没识别出来,米饭没识别出来,热量估算也会跟着错。两个人看的都是同一份输出,都很认真,结论却相反——因为他们回答的其实是不同的问题。
这是测试AI功能时最被低估的问题。团队在数据集和指标上投入大量精力,却很少花功夫去定义“把一份输出变成一条判定”的规则。当两个团队给同一个模型打分时,两边通过率之间的差距,往往更多说明的是规则不同,而不是模型不同。
分歧从哪里来
第一,正确性的单位没有定义。模型是按菜名打分,按每一种食材打分,还是按用户最终看到的营养数字打分?“咖喱”在一个层面上是对的,在另一个层面上就是错的。
第二,部分正确的答案没有公认的地位。传统测试是非黑即白的,AI输出不是。如果规则没说“差不多对”该怎么处理,每个测试员就会自己发明一套私人阈值。
第三,预期结果本身是一种主观判断。登录表单的预期结果来自规格文档,食物照片的预期结果来自一个人看着图片下的判断。如果两个标注者对标准答案的标注不一致,模型按定义就会在其中一个那里失败。
一个来自实际工作的案例
我测试过一个食物识别功能,其中一次分歧比任何指标都教给我更多东西:重复项。
设想一张照片里有两个不同的三明治,模型返回两个条目,名字都叫“三明治”。在一位评分者看来,这是明显的缺陷:同一个条目出现了两次。我不这么看。如果两个条目的配料表不同,它们就是两个不同的条目,只是恰好共用一个名字。模型看到了盘子上的两样东西,并且都描述了出来。
两种读法都不是粗心。“重复”这个词从来没有被定义过。一方比较的是名字,另一方比较的是内容。在这个定义被写下来之前,同一份输出会持续产生两种判定,再多的重复测试也填不平这道沟。
真正有用的是什么
- 在测试轮次开始之前写下评分规则,而不是之后。
- 准备十到二十个边界案例,附上商定的判定和理由。
- 让两个团队各自独立给同一份小样本打分,然后只比较出现分歧的案例。这些案例就是真正的规格说明。
- 定义那些大家都以为不言自明的词:重复、部分匹配、错误条目。
还有一条我坚持的规则:有争议的案例绝不靠资历裁决,而是靠追问用户会经历什么来裁决。如果用户记录了一餐,拿到一个偏差很大的数字,那么“技术上正确”的漂亮论证并不重要。
测试轮次开始前先回答这些问题
- 到底评的是什么:条目名称、每种食材,还是用户看到的数字?
- 什么算部分正确的答案,它算通过、失败,还是单独一类?
- 什么算重复,是按名字比较还是按内容比较?
- 谁来标注预期结果,两个标注者不一致时怎么办?
- 哪种用户影响会让一个案例判为失败,即使输出在技术上正确?
- 谁来裁决有争议的案例,依据哪条规则?
如果团队里有人不能用一句话回答其中任何一条,那正是通过率会分道扬镳的地方。
每个有争议的案例都可以套用一张卡片,填好后和评分规则放在一起。以三明治为例:盘子上有两个条目,模型都返回为“三明治”,一个含面包、火腿、奶酪,另一个含面包、鸡蛋、生菜。争议点是这算不算重复。判定为通过,因为是两个不同条目。理由是名字相同、配料不同的条目属于不同条目。由此产生的规则是:重复项按内容比较,不按名字比较。
最后一行最重要。一个没有产出规则的案例,下一轮还会被重新争论一遍。
没有共享评分规则的通过率不是质量指标,它衡量的是某一群人那一周感觉有多严格。
热门跟贴