✨导读： 四足机器人跑酷身手敏捷，但大多离不开人工遥控。复旦大学团队提出MulDP多模态扩散策略，搭配自研QPND跑酷导航数据集，融合深度视觉、本体感知生成预判式速度指令。机器人可自主完成跨沟、爬楼、越障，实现千米级室外无干预跑酷导航。
作者：Kangmai Hu, Yueqi Zhang, Peng Zhai , Xiaoyi Wei, Jiabin Hu, Zhixiang Liu, Quancheng Qian and Lihua Zhang
单位：复旦大学智能机器人与先进制造学院
论文标题：MulDP: Multimodal Diffusion Policy for Autonomous Quadruped Parkour Navigation across Complex Terrains
论文链接：https://arxiv.org/abs/2609.03984
现如今，基于学习算法的四足机器人已经拥有极强的运动能力，奔跑、跳跃、翻越障碍样样拿手，可以穿梭街道、乱石堆、仓库等各类复杂环境。
但一个现实痛点依然突出：绝大多数跑酷机器人，都需要人类远程操控，真正意义上的自主跑酷导航，依旧是一大难题。
自主跑酷导航主要面临三大硬核挑战：
⚡精细速度调控与长时序预判：跑酷不是看到障碍再反应。比如跨越宽沟壑，机器人必须提前加速积攒动量，抵达沟壑边缘前就要完成速度调整，属于典型的长时序预判行为。
感知与本体执行强耦合：视觉上看着能通行，不代表物理上真的可以通过。受机器人机身尺寸、运动能力约束，就算摄像头视野内躲开障碍物，依旧有发生碰撞的风险。
现有方案各有短板：
传统模块化地图导航：采用建图、规划、控制解耦设计，结构化环境表现尚可，但面对动态场景，很难做到精细的速度调节；
学习型视觉导航：输出路径点做导航，视觉规划和机器人本体执行互相割裂，容易在视野盲区发生碰撞；
端到端强化学习、视觉语言动作框架：训练成本高昂，泛化能力有限，长时序任务可控性差。
针对以上痛点，复旦团队希望搭建一套可以把感知和本体控制深度绑定的策略，输出时序连续、具备预判能力的导航速度指令，实现四足机器人真正的自主跑酷导航。
主要贡献
MulDP多模态扩散策略：融合历史视觉观测、机器人本体感知、目标信息，通过迭代去噪输出未来一段时域的导航速度指令，完成复杂地形长时序、带预判的自主导航。同时该模块可以作为局部规划器，和全局规划器搭配使用。
QPND四足跑酷导航数据集：这是业内首个专门面向四足机器人跑酷导航的多模态仿真数据集❗仅依靠前向深度相机+本体感知，不需要激光雷达等高成本传感器；搭配大量数据增强，支撑仿真到真机的迁移。数据集总导航里程31km，包含6400条轨迹，约25万张深度图像，覆盖各式各样复杂地形。
完备的仿真+真机验证：开展大量仿真实验，同时落地真实世界测试。在室内静态障碍、动态障碍物、室外动态目标跟随等场景，充分验证MulDP导航鲁棒性。
MulDP整体工作逻辑：接收深度图像、本体感知、目标信息，通过多组编码器完成特征融合，送入扩散模型生成未来一段时间的速度指令序列。系统以5Hz频率更新，只把预测序列的第一条速度指令下发给底层运动策略执行。
1️⃣ QPND数据集构建
数据集仅采集前向深度相机图像、本体状态、控制指令，规避激光雷达等特权传感器，保障仿真环境到真实机器人的迁移效果。数据集分为五大构建模块：
机器人配置：选用Unitree Go1四足机器人，仿真复刻RealSense D435i深度相机；采集数据时对相机位置、角度施加随机扰动，模拟现实传感器的物理误差。
底层运动策略：使用RENet模型，接收高层速度指令完成跑酷动作，该模型本身不具备导航规划能力。
场景配置：搭建多级难度地形，包含可通行的沟壑、跨栏、台阶，以及盒子这类不可通行障碍物。
轨迹采集：简单地形使用脚本自动采集；复杂地形存在多种可行通行方案，采用专家遥操作的方式采集多模态演示轨迹。
数据增强
轨迹层面：把长轨迹切分为多段连续短序列，数据利用率提升接近50%；
传感器层面：裁剪深度图边界，向深度图像、本体感知注入噪声，复刻现实传感器测量误差，缩小仿真‑真机之间的差距。
模型由3个编码器组成，融合得到条件上下文 ，送入扩散去噪网络，输出未来H步速度序列 。
其中单步控制指令 ， 代表线速度， 代表角速度。
多模态时序编码器：处理历史深度图像序列和历史本体感知信息。将深度图切分为图像块，和45维本体感知数据做token嵌入，增加模态区分嵌入，依靠Transformer跨模态注意力，输出时序融合特征 ，理解历史环境与运动状态。
当前空间编码器：采用浅层CNN处理当前时刻深度图像，提取瞬时精细地形特征 。专门应对突发出现的障碍物，弥补时序抽象特征对瞬时地形细节捕捉不足的缺陷。
决策记忆编码器：使用MLP编码最近5步规划指令与目标向量，输出特征 ，保障导航行为的连续性，强化朝向目标运动的意图。
将 融合得到条件上下文 ，作为扩散模型的输入条件。
扩散去噪计算公式：
：去噪步数； ：噪声预测网络； 由噪声调度表确定。
将未来动作序列初始化为高斯噪声，迭代 步完成去噪，输出干净的速度序列。
实际部署时，仅下发序列第一条指令，以5Hz频率重新生成完整预测序列。
损失函数：
从数据集 中采样专家轨迹 、深度图 、本体感知、相对目标 ，历史观测窗口大小设置为5。
训练超参：AdamW优化器，学习率 ，训练1000轮，batch size=512，搭配余弦学习率调度与warm‑up，基于DDPM框架训练。
实验
本次实验围绕3个核心问题展开：
MulDP各个模块分别起到什么作用？对比现有四足导航算法优势在哪？
在高难度环境中，能否完成灵活的定点目标导航？
室外复杂地形下，动态目标跟随是否具备优秀泛化能力？
仿真环境：Unitree Go1机器人，Isaac Sim仿真平台；地形覆盖沟壑、跨栏、上下楼梯、碎石、箱体障碍，每种地形设置两级难度。
评价指标：
SR成功率：机器人距离目标小于0.2m，判定导航成功；
SPL：路径长度加权成功率，同时衡量导航成功率与路径的效率；
TR通行率：机器人在有效导航区域内实际通行面积占比；
TTR到达时间：成功抵达目标的平均耗时。
真机实验：Unitree Go1，搭载NVIDIA Orin NX 16GB，推理频率5Hz；使用RealSense D435i深度相机；依靠UWB超宽带定位获取机器人和目标的相对位置。
基线对比实验
MulDP取得SR=89.7%，SPL=71.9%，平均TTR=4.9s，综合性能大幅领先基线。
NavDP*依赖预训练编码器，预训练域和导航任务存在不匹配，成功率仅59.0%；
NavDP、ViNT官方开源权重面对高难度地形表现很差，成功率只有35%‑38%，只会保守避开障碍物，无法发挥四足机器人越障跑酷的能力。
关键结论：数据集噪声注入、轨迹增强，是实现仿真‑真机迁移的关键。去掉噪声之后，真实环境机器人极易误判障碍物，发生碰撞事故。
仿真搭建16m×16m全新未见过的大场景，起点距离目标13m。得益于扩散模型的生成特性，同一组起点终点，可以输出多条互不相同、全部可行的导航轨迹，区别于普通回归模型只会输出单一平均行为。
真机室内测试：静态障碍物环境可以生成多样化导航策略，机器人可以选择翻越或者绕行；面对动态障碍物，可以做到实时感知、实时规划。
速度特性分析：跨越沟壑时机器人会提前加速积攒动量，落地之后才减速，充分体现模型的预判能力；遇到障碍物优先调整航向，不会频繁急停减速，维持运动的连续性。
真机完成超1km完全自主跑酷导航，全程无人工干预✅。机器人完成上下楼梯、草地通行、跨越沟壑、躲避障碍、跳跃跨栏等一系列动作。
面对训练集从未见过的陌生障碍物（草地上圆盘、路边自行车），机器人可以正确识别为不可通行物体，主动选择绕行，展现出优秀的分布外泛化能力。
总结
本文提出MulDP多模态扩散策略，把四足机器人跑酷导航转化为条件扩散生成任务，同时构建QPND多模态跑酷导航数据集。
该框架深度绑定深度视觉感知、本体感知与底层运动控制，机器人不再局限于简单避障，能够自主完成跨沟、爬楼梯、跳跃障碍等跑酷行为。仿真与真机双重实验，验证了定点导航、千米级室外动态目标跟随的性能。
未来研究方向：引入语义感知、高层全局规划、轻量化安全评估模块。
Mbot具身智能实验室
让尖端科技触手可及，人人皆可探索未来
Mbot基础交流群等你加入，下方扫码联系
具身-杰西
Mbot具身-小助手
Mbot-视频号
Mbot-公众号
热门跟贴