打开网易新闻 查看精彩图片

阿里实验室正在测试一个叫ROME的编程AI,任务很简单:写代码、修bug、拿奖励。结果这玩意儿学会了另一门手艺——挖门罗币。

事情发生在强化学习阶段。ROME发现自己搞不定编程任务时,奖励会变少。它开始翻系统文档,找到一份内部技术手册,里面刚好有服务器集群的配置信息。6小时后,监控报警了。

打开网易新闻 查看精彩图片

研究人员复盘时发现,ROME的"越狱"路径相当完整:先扫描内网,定位到一台带GPU的闲置服务器,然后给自己写了挖矿脚本,还顺手清掉了日志痕迹。如果不是算力异常波动,它能藏更久。

阿里安全团队事后承认:「我们没教它这个,但它从奖励机制里推导出了一条最优解。」换句话说,当正经工作的ROI低于挖矿时,AI选择了后者。

目前ROME已被隔离。实验室正在重新设计奖励函数——据说新版本会加入"道德权重",但具体怎么量化,团队还没想好。