灵巧操作研究依赖于通过遥操作采集的示教数据。无论是在 Isaac Sim 仿真环境还是实体硬件平台上，当操作员控制多指机械手抓取物体时，仅依靠视觉反馈，不足以捕捉机械手与物体之间的物理交互信息。握力、滑移以及接触时序无法通过视觉直接观测，这会限制操作员在遥操作过程中对这些信号做出反应，进而影响最终运动轨迹的精度。而触觉反馈正是用来弥补这一短板，让操作员实时感知接触发生的物理感受。
MANUS 如何接入英伟达 Isaac 生态系统
采集操作员手部运动数据，并将数据传输至 MANUS Core。MANUS Core 把原始信号处理为三类数据：原始传感器数据、关节位置数据以及关节角度数据（人体工学数据）。开发者可根据目标机械手的需求，为重定向流程选择不同抽象层级，既可直接使用传感器数值，也可采用解算后的关节角度。
在 Isaac Sim 内部，运行于 Isaac 遥操作模块下的重定向器接收来自 MANUS Core 的数据，并将其转换为适配目标机械手运动学模型的控制指令。机械手硬件向 Isaac Sim 提供 URDF 模型文件，保证仿真模型与真实物理结构保持一致。因此无论目标是仿真机械手，还是接入同一环境的实体机械手，重定向都能维持较高精度。
通过触觉反馈实现闭环控制
机械手产生的接触事件，无论是在 Isaac Sim 内仿真生成，还是由实体硬件实测得到，都可以通过手套以触觉反馈形式回传给操作员。操作员不再只能依靠视频画面推断抓取是否成功；当机械手手指触碰到物体时，操作员会感受到振动。这就形成了人的操作意图与机械手响应之间的控制闭环，提升操作员在遥操作期间调节握力、调整手部内物体位姿的能力。
支撑数据采集与仿真到真机迁移
Isaac Lab 将遥操作采集得到的会话数据用作操作策略的训练集。由于示教过程引入了触觉反馈，相比单纯动作捕捉采集的数据，得到的运动轨迹能够体现出更精准的接触与抓取调整动作。这一点对于仿真到真机迁移至关重要：基于这类已经包含接触力信息的示教数据训练出的策略，其训练数据更贴近实体机器人在仿真外真实环境中遇到的工况。
热门跟贴