【人工智能】桌面 AI 是否伴随着风险？|人工智能模型|应用程序|微软|智能体|知名企业

人工智能功能即将出现在您身边的桌面上——Microsoft 365 Copilot、Google Gemini 和 Project Jarvis 以及 Apple Intelligence 都已出现（或已经出现）。但风险是什么？

人工智能已经走进桌面。

去年推出的 Microsoft 365 Copilot 现已广泛可用。Apple Intelligence 刚刚面向新款 Mac、iPhone 和 iPad 用户推出通用测试版。据报道，Google Gemini 将很快能够通过 Chrome 浏览器采取行动，这是一项名为 Project Jarvis 的正在开发的智能体功能。

大型语言模型 (LLM) 的集成可以筛选业务信息并提供自动化操作脚本（即所谓的“智能体”功能），这对知识型员工来说意义重大，但对企业领导者和首席信息安全官 (CISO) 来说也是一件大事。Gartner 的一项调查显示，公司已经因过度共享信息和未能限制访问权限而遭受严重问题困扰——40% 的公司因此类安全担忧而将 Microsoft 365 Copilot 的推出时间推迟了三个月或更长时间。

云服务身份和访问管理平台 Oleria 的首席执行官 Jim Alkove 表示，桌面 AI 系统提供的广泛功能，加上许多企业缺乏严格的信息安全，带来了巨大的风险。

“这里的组合实际上应该引起所有人的关注，”他说。“这些类别风险存在于更大的基于[本机语言]模型的技术中，当你将它们与我们一直在处理的运行时安全风险——以及信息访问和可审计性风险——结合起来时，它最终会对风险产生乘数效应。”

桌面 AI 有望在 2025 年腾飞。根据Gartner 的《Microsoft 365 Copilot 现状：调查结果》，各家公司已经在寻求快速采用 Microsoft 365 Copilot 和其他桌面 AI 技术，但只有 16% 的公司推动了最初的试点项目，并将该技术推广到所有员工。绝大多数 (60%) 的公司仍在试点项目中评估该技术，而五分之一的公司甚至还没有走到这一步，仍处于规划阶段。

大多数员工都希望拥有一个桌面人工智能系统来协助他们完成日常任务。Gartner 称，约 90% 的受访者认为他们的用户会争取保留对人工智能助手的使用权，89% 的人同意这项技术提高了生产力。

为人工智能助手带来安全性

不幸的是，这些技术在架构和保护方面都是黑匣子，这意味着它们缺乏信任。Oleria 的 Alkove 表示，有了人类个人助理，公司可以进行背景调查，限制他们使用某些技术的权限，并审计他们的工作——目前桌面 AI 系统还没有类似的控制措施。

他说，人工智能助手——无论是在桌面、移动设备还是云端——都将能够获取远超其所需的信息。

“如果你考虑一下现代技术有多么不完善，无法应对这样的事实：我的助理只能代表我完成一组特定的电子任务，而不能做其他事情，”Alkove 说。“你可以授予助理访问电子邮件和日历的权限，但你无法限制助理查看某些电子邮件和某些日历事件。他们可以看到一切。”

他说，这种委派任务的能力需要成为人工智能助手安全结构的一部分。

网络风险：用户与人工智能的社会工程

如果没有这样的安全设计和控制，攻击就很可能会随之而来。

今年早些时候，一次即时注入攻击场景凸显了企业面临的风险。安全研究员 Johann Rehberger 发现，通过电子邮件、Word 文档或网站进行的间接即时注入攻击可能会诱使 Microsoft 365 Copilot 扮演诈骗者的角色，提取个人信息并将其泄露给攻击者。Rehberger 最初于 1 月向 Microsoft 通报了此问题，并在全年向该公司提供了信息。目前尚不清楚 Microsoft 是否已针对此问题进行了全面修复。

能够访问操作系统或设备的功能将使桌面 AI 助手成为欺诈者的另一个目标，这些欺诈者一直试图让用户采取行动。AI 智能体安全公司 Zenity 的首席执行官 Ben Kilger 表示，他们现在将专注于让 LLM 采取行动。

“ LLM 让他们能够在没有任何特定同意或控制的情况下代表你做事，”他说。“很多此类即时注入攻击都试图对系统进行社会工程攻击 — — 试图绕过你网络中的其他控制，而无需对人类进行社会工程攻击。”

了解人工智能的黑匣子

大多数公司对人工智能技术的安全性缺乏了解和控制。为了充分审查这项技术，公司需要能够检查人工智能系统在做什么、员工如何与技术互动，以及哪些操作被委托给人工智能，Kilger 说。

“这些都是组织需要控制的事情，而不智能体平台，”他说。“你需要分解它，并真正深入了解这些平台的实际使用方式，以及人们如何构建和与这些平台交互。”

Oleria 的 Alkove 表示，评估 Microsoft 365 Copilot、谷歌所谓的 Project Jarvis、Apple Intelligence 和其他技术的风险的第一步是获得这种可见性，并采取控制措施以在细粒度级别上限制人工智能助手的访问。

他说，公司需要能够控制数据最终接收者的访问权限、其角色以及信息的敏感度，而不是桌面 AI 系统可以随时访问的大量数据。

“您如何授予该智能体人访问您个人通常采取的部分信息和部分行动的权限，并且仅在一段时间内？” Alkove 问道。“您可能只希望智能体人采取一次行动，或者您可能只希望他们在 24 小时内这样做，因此确保您今天拥有这些控制权至关重要。”

微软承认数据治理存在挑战，但认为这些挑战并不是什么新问题，只是由于人工智能的出现而变得更加明显。

公司发言人在一份声明中表示：“人工智能只是呼吁企业采取最新的行动，主动管理其独特的、各自的政策、行业合规规定和风险承受能力，例如确定哪些员工身份应该有权访问不同类型的文件、工作区和其他资源。”

该公司指出，其 Microsoft Purview 门户是组织可以持续管理身份、权限和其他控制的一种方式。该公司表示，使用该门户，IT 管理员可以帮助保护 AI 应用程序的数据，并通过单一管理位置主动监控 AI 的使用情况。谷歌拒绝就其即将推出的 AI 智能体发表评论。

免责声明：