谷歌云高级软件工程师苏尼尔·阿罗拉（Sunil Arora）把强化学习称作AI里的“超级应用”：它同时包含训练、采样，以及智能体在沙箱里真正动手做事、有时还要评估工作成果。在他看来，这是一种极其多样的负载，正在把基础设施的边界往外推。

打开网易新闻 查看精彩图片

阿罗拉与谷歌开发者贾斯汀·圣巴巴拉（Justin Santa Barbara）在KubeCon + CloudNativeCon北美站期间，与theCUBE Research的约翰·弗里尔、丽贝卡·奈特聊了模型微调和GKE Labs的工作。GKE Labs的定位是把实验性项目尽早交到用户手里。

这套工作的产物OpenRL，最近被谷歌捐给了云原生计算基金会（CNCF）。它的路径是先为Kubernetes任务做一个AI智能体，再做一个基准来给模型在这类工作上的表现打分。

把基础设施从RL循环里剥出去

OpenRL以研究预览形式亮相，为企业自己的Kubernetes集群提供自托管的训练API。它把强化学习的循环和算力管道拆开：基础设施工程师负责扩缩容，研究者继续掌控实验。

阿罗拉的说法是，OpenRL想做的事之一，是把基础设施抽象成核心原语，让研究者和AI工程师只管自己的RL循环。沙箱则是这个循环与智能体基础设施相接的地方——算奖励可能意味着要跑上百万条隔离命令。谷歌的Agent Substrate能把更多这类沙箱塞进有限的算力里。

对圣巴巴拉来说，这个需求是一步步冒出来的。他们做了kubectl-ai，而kubectl-ai理论上可以格式化他的硬盘。他想要一个沙箱：真格式化了，格式化的是那个沙箱，不会造成损害。

一个命令行助手具备动硬盘的能力，这件事本身就说明了沙箱为什么不能是可选项。强化学习把训练、推理和智能体动作揉进同一个循环，研究代码又常常和底层系统缠在一起，隔离层一旦缺位，代价不是跑错一个实验那么简单。

OpenRL选择把扩缩容交给基础设施侧、把实验控制权留给研究者，等于承认这两件事本来就该由不同的人负责。至于沙箱密度能压到多高，阿罗拉给出的答案是Agent Substrate，但具体数字没有展开。