打开网易新闻 查看精彩图片

Esther | 编辑

众所周知,Meta不仅局限在Quest这类VR头显上,同时还在打造更轻量化的AR眼镜,目标就是让产品更好的融入到人们的日常生活中去。除了硬件上轻量化以外,在功能和交互体验上也至关重要,例如自然交互方式,比如手势输入,以及AI视觉助手等,这其中和计算机视觉和AI技术密不可分。

AI技术将会是AR眼镜的重要组成部分,通过实时给用户提供回答和建议等帮助(例如推荐导航路线、甚至日程、根据喜好推荐菜品等)来提升AR眼镜的实用性,将会成为Meta AR眼镜的卖点之一。尤其是,考虑到Meta近年来在AI技术上的投入,我们完全有理由相信这一点。

打开网易新闻 查看精彩图片

Reality Labs公布了一项研究:XAIR,从中我们可以了解到AR眼镜中AI系统的设计准则。该框架基于可解释人工智能框架(XAI)和人机交互(HCI)等研究,其中内含8大设计准则,可为AR眼镜的AI设计提供有价值的参考。

什么是XAI?

据青亭网了解,XAI(Explainable AI)又称透明AI(Transparent AI),特点是行为容易被人所理解。大多数基于机器学习的AI都是在所谓的黑盒中运行,由于无法提供决策背后的原因和见解,此类AI具有一定风险性,因为不确定它是否可信、可靠,是否存在偏见。

XAI的概念可以追溯到四十多年前,后来随着黑盒AI/ML模型的成功,XAI技术开始受到学术业、监管机构等各行各业关注。研究表明,XAI将有望为用户提供清晰的决策,并建立信任。因此在工业领域,已经开始将XAI应用于日常场景,改善用户体验。

XAI可以服务于不同的目标受众,有各种不同的用途。早期的XAI研究仅关注算法开发者、数据科学家,以及临床医疗等领域的专家,而近年来越来越多的XAI开始面向普通用户,与消费级产品集成,比如在购物网站上显示推荐某产品的原因等等。不过,这目前还在早期阶段。

XAI的重要性

想要让AI被人类广泛理解,将涉及多学科研究工作。比如,ML研究人员开发了生成透明模型的算法(例如,决策树、贝叶斯模型),或使用事后解释技术(例如,特征重要性、视觉解释)来生成解释。而HCI研究人员,则专注于提高用户信任度,以及对机器生成解释的理解。另一方面,心理学研究人员从更基本的角度研究XAI,研究人们如何生成、交流和理解。

公开透明的AI也很重要,它符合未来其在AR/VR领域的发展策略。在XAIR研究中,XAI的目的是通过生成细节或理由,来帮助用户清楚、容易理解AI的决策和功能。Meta指出,XAI是AI驱动的交互系统的重要组成部分,未来也会在日常AR应用中起重要作用,辅助用户与可视化的智能服务互动。XAI可以让AR智能系统的行为更好理解,避免意外的AI决策,并培养隐私意识,获得用户的信任。

不过,目前Meta面临的一个难题,是为日常AR应用创建有效的XAI体验。大多数现有的XAI研究侧重于将解释类型和生成技术分类,而没有考虑到日常AR场景的特点,比如用户和上下文产生的感知信息,全天候运行,适应能力好等因素。这些因素不仅可以形成更人性化的解释,还会影响解释接口的设计。

打开网易新闻 查看精彩图片

因此,Meta提出了XAIR设计框架,该框架描述了何时、如何解释AR中AI的决策。为了构建XAIR框架,还进行了一场500人实验,目的是收集他们对于AR体验设计的偏好。此外,还参考了12位专家对于AR交互的见解。

本次研究的重点,是确定三点问题:

  • AI该何时做出解释;

  • 可以解释什么;

  • 如何解释。

先前的研究已经探讨了前两个问题,尽管非针对AR,但还是为XAIR的设计提供了一些有用的信息。

打开网易新闻 查看精彩图片

XAI设计指南

Meta认为,如果AR眼镜具备智能服务,那么AI将起到重要作用,比如根据AR眼镜传感器捕捉到的信息,为用户提供基于上下文的建议。除此之外,AI与用户交互需要基于有效的XAI设计,以确保AI决策可靠、值得信赖,从而改善用户体验。

打开网易新闻 查看精彩图片

与面向电脑、手机上的现有XAI框架不同,AR的XAI设计需要结合更深层、更丰富的上下文信息(甚至还要考虑用户的状态),因此需要为AR专门重新设计。而且,AR的XAI还需要具有3D感知能力、实时在线,才能应用于日常AR场景,将解释内容与物理空间融合。比如,在推荐食谱时,同时突出用户冰箱中的食材,即根据场景上下文来解释决策。而相比之下,市面上已有的XAI框架并不能满足这些需求。

打开网易新闻 查看精彩图片

于是,Meta通过用户调查总结了8大设计指南:

  1. 始终生成AI结果,确保用户在需要时可便捷的访问;

  2. 不自动触发解释,除非满足2个条件——识别到用户高认知负荷、紧迫感等情况,或是识别到用户惊讶、困惑、不熟悉、不确定等状态;

  3. 个性化解释内容需考虑三个因素:系统目标、用户目标和用户画像;

  4. 在默认状态,优先考虑为什么解释,并选择简明的解释;

  5. 始终提供更详细的解释,可以通过小的提示窗口等,让用户根据需求展开;

  6. 默认情况下,采用与AI输出相同的解释方式(除了触觉、音频),一种模态负载高时,则选择另外一种;

  7. 内容以文字为主,如果是图片也应尽可能简化、让用户易于理解;

  8. 尽可能将解释内容隐秘地嵌入到场景中,若不适合,则可以明显的呈现。

Meta结合设计指南,开发了一些应用案例并在10名设计师中进行验证,结果设计师认为XAIR可为AR的XAI框架设计提供可用的综合参考或帮助,有助于激发设计师的思维和想象力。参与实验的12名最终用户也反馈,XAIR有出色的可用性。

应用案例

在这项研究中,Meta设计了两个演示案例,感兴趣可以来了解一下:

1)当用户在小路上慢跑时,AR眼镜考虑到当下的季节和风景,便为用户显示出附近的地图,建议绕道去附近的路赏樱花。AI可提供的解释包括:风景更好、路线长度合适、适合用户日程安排。解释形式包括文字、樱花图片等等。

打开网易新闻 查看精彩图片

2)AR用户在与邻居讨论园艺后回到家,这时AR眼镜会在周围的植物上显示一个“养护”提示,并为用户提供关于植物施肥的说明。这个建议需要用户手动触发,避免其认为AI侵犯隐私,手动触发可以较好的建立信任。此外,AI还可以提示:经过系统扫描,植物的叶子上有异常斑点,表明可能遭受真菌或细菌感染。解释形式除了文字外,也可以在叶子上用AR来标记异常点(文本为明显提示,AR提示则为隐秘式,与场景融合)。

参考:

https://research.facebook.com/publications/xair-a-framework-of-explainable-ai-in-augmented-reality/

每天五分钟,轻松了解前沿科技。
——青亭网