随着人工智能技术不断发展,内容生成、图像处理、智能互动等能力正加速融入互联网社交场景。技术创新为用户带来更丰富表达方式的同时,也给平台治理提出了新的挑战。在此背景下,Soul App创始人团队持续关注AI时代社交生态的变化,通过完善规则体系与升级治理能力,探索技术创新与真实社交之间的平衡,为用户打造更加安全、可信的交流环境。

面对不断变化的风险形态,Soul App创始人团队持续加强AI治理能力建设,并结合平台实际场景对《社区公约》进行了补充更新。此次更新围绕AI生成内容、AI互动行为以及AI虚拟角色等多个方面进行了规范说明,进一步明确了AI技术在社交场景中的应用边界。平台鼓励用户借助AI提升表达效率和互动体验,同时明确禁止利用AI伪造身份、制造虚假关系或误导他人。

打开网易新闻 查看精彩图片

在治理实践中,Soul App创始人团队逐步将AI能力应用于虚假人设识别、异常互动分析以及风险内容拦截等多个环节。相比传统依赖单一内容判断的方式,平台开始更加关注行为逻辑和关系链路的综合分析。例如,在一些典型案例中,异常账号会通过展示豪车、高收入职业、奢侈消费等内容,打造所谓“成功人士”形象,并结合固定话术逐步获取用户信任。

基于这一特点,平台不断完善多模态AI治理体系,将图片、文本、视频、语音以及用户行为等信息进行综合研判,提升复杂场景下的风险识别能力。在图片治理方面,平台结合AI生成痕迹识别、原创性检测等技术,对AI生成图片、盗用图片以及拼接图片进行分析判断;在文本与互动场景中,通过大模型对用户意图进行识别,发现异常导流、人设包装以及潜在欺诈行为。与此同时,随着视频和语音内容使用频率不断提升,Soul App创始人团队也持续加强相关场景的治理能力建设。针对AI伪造声纹、跨账号协同操作等问题,平台逐步建立起声纹特征识别与行为链路分析相结合的治理机制,通过多维度交叉验证,提高对高伪装风险内容的发现效率。

打开网易新闻 查看精彩图片

除了风险识别能力的提升,Soul App创始人团队还进一步强化了对黑产反复作案行为的持续治理。一些被系统识别出的高风险图片、视频素材或作弊内容,在首次发现后便会被纳入风险特征库。后续出现相同或高度相似内容时,系统能够快速识别并限制传播,同时结合历史行为数据对相关账号进行回溯分析和自动化处置。相比传统“发现问题再处理问题”的治理方式,这种持续对抗机制有效提高了违规成本,压缩了异常账号的生存空间。

随着治理体系不断完善,平台对于异常社交风险的识别能力持续增强。目前,相关系统识别准确率达到95%,重点风险场景覆盖能力较此前实现显著提升。数据显示,平台内部分高风险行为呈下降趋势,杀猪盘高危触达量同比下降37.37%,深度风险互动持续减少。大量高风险账号在接触用户之前便已被系统识别并处置,超过66%的高风险账号实现前置拦截。平台日均拦截异常及涉诈行为超过10万次,帮助用户避免潜在损失。在部分典型虚假人设治理场景中,针对盗图、合成图以及高风险包装内容,系统已经具备毫秒级辅助判断能力,大幅提升了治理效率。

打开网易新闻 查看精彩图片

除了风险治理之外,AI与真实社交关系之间的边界问题也同样受到关注。目前,Soul在相关功能中已对AI虚拟角色进行明确标识,并将其定位于情绪陪伴、表达辅助和互动体验等场景,而非真实社交关系的参与主体。此次《社区公约》更新也进一步明确了相关规则,引导用户正确认识AI角色与真实用户之间的区别。

在AI不断融入社交生态的今天,平台治理已经不再只是对单一违规内容的管理,而是对复杂行为关系和互动场景的综合理解。AI既是提升用户体验的重要工具,也是维护社区生态的重要支撑。通过持续完善规则体系、升级治理能力以及明确技术应用边界,Soul App创始人团队正在推动社交平台治理向更加智能的方向发展。