7月16日消息，无问芯穹联合清华大学等共同研发的具身智能强化学习基础设施项目RLinf正式升级至v0.3版本。新版本进一步打通数据采集、数据管理、监督微调、强化学习、模型评测和真机部署等环节，形成从仿真训练、真实机器人在线学习到持续迭代优化的一站式开发闭环。
据了解，RLinf主要面向具身智能持续学习和在线进化场景。此前发布的v0.1和v0.2版本，分别完成强化学习系统抽象和真实世界在线学习基础设施建设。此次v0.3版本围绕模型、算法、真机、仿真和系统五个维度进行升级，并在发布前对多项应用示例进行了复现性测试。
模型生态方面，RLinf v0.3新增对Dexbotic DM0、DreamZero、GR00T-N1.6/N1.7、ABot-M0、StarVLA和LingBot-VLA等6款具身模型的支持。其中，DreamZero被纳入监督微调工作流，并通过FSDP2、CUDA Graph等技术实现近4倍吞吐提升。
算法方面，新版本扩展了真机强化学习、仿真强化学习和人在环学习能力。真机场景新增RECAP、SAC-Flow等训练流程，并将DSRL扩展至Pi0.5模型；仿真场景增加Async PPO、离线IQL等能力；人在环学习方面则新增DAgger和HG-DAgger，支持机器人在人工介入下持续修正和优化策略。
真机支持方面，RLinf v0.3新增空间鼠标、VR和GELLO三种遥操作数据采集方式，并支持LeRobot格式数据、Pi0真机监督微调及奖励模型数据采集。同时，新版本增加双臂Franka、GimArm和DOS-W1三款真机平台，以及DexHand灵巧手、Robotiq夹爪等末端执行器支持，进一步打通“数据采集—模型训练—真机部署”链路。
仿真环境方面，新版本增加Genesis、Polaris、RoboVerse等仿真器支持，并完善Behavior、Libero、IsaacLab和RoboCasa等环境中的强化学习训练示例，扩大模型在不同任务和场景中的训练覆盖范围。
系统层面，RLinf v0.3新增Reward Model、Value Model、SGLang推理服务和解耦环境执行等组件，并通过torch.compile、训练与采样并行、权重增量同步、FSDP全卸载等方式提升大规模训练效率。新版本还支持昇腾Ascend、AMD ROCm和Musa等异构计算平台，强化跨模型、跨机器人、跨仿真器及跨硬件训练能力。
此外，RLinf v0.3还拓展至Agentic AI训练场景，新增AgentLightning多轮单智能体强化学习、Calc-X评测、Megatron-Bridge后端等能力，并对SearchR1多轮接口进行了重构。
据介绍，RLinf目前已获得超过4100个GitHub Star、600余次Fork和100余名贡献者，并被Isaac Lab收录为面向具身大模型的训练引擎。无问芯穹表示，未来将继续通过开源方式提升平台易用性，完善算法、模型和真机生态，推动具身智能训练基础设施进一步发展。(定西)
热门跟贴