AI能描述一张照片、认出画面里的物体、回答摄像头拍到的东西。可当一个盲人只想要一句准话时,听一整篇关于场景的口头小作文,实在算不上帮忙。
马里兰大学(UMD)的研究者发现,AI视觉辅助会让盲人用户为了拿到真正需要的信息,先干上一大堆活。这项研究题为《Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users》,考察的是人们如何与 Be My AI 互动——这是 Be My Eyes 应用里的一项AI功能。研究者发现,用户经常收到冗长的描述,这些描述没能充分回应他们的即时目标,逼得他们追问,或者想办法把AI引向更有用的答案。
问得短,答得长
研究招募了11名盲人参与者,先在实验室里试用 Be My AI,随后在日常生活里用了10天。团队分析了418次互动,看参与者怎么提问、怎么回应AI的答案、在结果不对路时怎么调整策略。
结果暴露出提问与回答之间的错位。参与者的问题通常在10到20个词左右,而AI的回答长度是问题的10倍以上。对话平均3轮,但有的拉长到21次来回。由于答案是朗读出来的,想找到一个有用的细节,可能得先听完一大堆无关信息。
有个例子是,一位盲人参与者想确认香肠熟没熟。AI反复报告某些部位看起来还是粉的,可用户想要的是接下来该怎么办的实用指导,而不是又一段对食物的描述。另一个案例里,一位参与者在找钥匙,收到的却是一大段对图像的描述,而不是围绕那件丢失物品的回答。超过一半的参与者认为,应用一上来就做整幅图像描述的习惯是个显著问题。
用户自己找绕路办法
参与者试了好几种办法来拿到更有用的答案。有人解释自己为什么问这个问题,给AI补上目标背景。有人把复杂任务拆成更小的问题。一位检查面包面团的参与者,分别询问了它的大小、表面、气泡和面粉,说这是确保答案正确的唯一办法。
用户虽然找到了引导AI的办法,研究也暴露了其他局限,包括难以判断距离和随时间发生的变化、图像取景方式对盲人不友好、以及摄像头该如何摆放缺乏指引。研究者主张,盲人用户不该为了得到简单答案而去掌握复杂的提示词。AI视觉辅助要做到真正无障碍,就得聚焦用户需要知道什么,给出清晰有用的回答,而不是让用户去绕开技术的短板。
毕竟,当有人问自己的钥匙在哪儿,他大概不需要一场关于整个房间的导览。
热门跟贴