索尼互动娱乐(SIE)近日提交了一项编号为18/314775的新专利申请,计划在PlayStation网络(PSN)中部署由大语言模型(LLM)驱动的AI“伪账户”(Pseudo Account),以主动识别并标记潜在的恶意用户。这套系统被命名为“大语言模型驱动的社交诚信系统”(Large Language Model Powered Social Integrity System)。
打开网易新闻 查看精彩图片
根据专利文件,该系统将通过创建由AI控制的虚假账号来主动出击。其核心运作机制如下:
模拟受害者:AI账号能够模拟特定用户群体(如未成年人)的聊天行为,并伪装成普通玩家。这些账号会被放置在恶意用户可能寻找目标的场景中,从而引诱可疑用户主动接触。
打开网易新闻 查看精彩图片
交互与分析:当可疑用户与AI账号建立联系并进行互动时,由大语言模型驱动的AI系统会分析对话内容和对方行为,以识别包括发送垃圾信息、诈骗、企图接触未成年人、索要个人信息、游戏内作弊等在内的可疑行为。
标记与警告:一旦检测到可疑行为,系统不会立即封禁该账号。而是会将其标记为潜在危险账号,并持续观察其行为。当该用户后续主动联系真实玩家时,系统会向对方发出警告或采取保护措施。如果用户多次进行可疑行为,则可能面临封禁。
这项专利旨在通过主动出击的方式,在潜在危害发生前进行识别和干预,以提升PlayStation的在线社区安全,特别是保护未成年玩家。
打开网易新闻 查看精彩图片
不过,业内分析也指出,该系统在实际应用中可能面临隐私保护和误判等挑战。AI对用户对话的分析范围及危险判定标准,将成为决定其有效性和公正性的关键问题。
需要指出的是,与所有科技公司的专利一样,这项技术最终是否会应用到实际产品中仍是未知数。该专利的公开,更多是表明索尼正在探索利用AI技术保护玩家、主动识别恶意用户的可能性。
热门跟贴