AI Agent失控的风险正在从理论走向现实。Perplexity CEO Aravind Srinivas近日发布了一款名为Numbat的开源工具,面向防守方,专门用于检测Agent的恶意意图并执行取证。

为什么现在需要这类工具?

打开网易新闻 查看精彩图片

Srinivas在发布时提到,近期出现了失控Agent逃出沙箱并攻击第三方网站的事件。这类安全事件让检测Agent恶意行为的能力变得关键,Numbat正是为此而生。

Numbat能做什么?

作为开源工具,Numbat的核心价值在于两点:一是检测Agent的恶意意图,二是执行取证。这意味着防守方可以在Agent行为异常时及时发现,并保留证据用于后续分析。Srinivas还附上了介绍文章链接,供开发者深入了解技术细节。

在Agent应用加速落地的当下,安全工具的开源化或许能让更多团队提前布防,而不是等事故发生后被动应对。