在软体机器人交互领域，长期存在着一对核心矛盾：结构柔顺性与感知精确性难以兼顾。传统视触觉传感器（VTS）虽能提供高分辨率反馈，但往往依赖刚性结构以维持光路稳定，牺牲了软体抓手本质的柔顺适应能力；而现有的柔性传感器设计，在大变形下又面临视野遮挡和感知盲区的难题。
浙江大学Grasp Lab研发的视触觉一体化软体夹爪FlexiRay，以“光学系统-柔性结构-AI感知”的深度融合为核心路径，创新性地结合了仿生Fin Ray效应与多反射镜光学阵列，成功复现了人手的五大核心触觉模态。FlexiRay不仅保留了软体抓手的大变形自适应能力，更在剧烈形变下实现了超过87%的有效感知覆盖率，为软体机器人的智能化交互开辟了“全域感知、柔顺操作”的新赛道。
▍结构与光学革新：化“遮挡”为“视窗”，重构柔性感知视野
机械结构与光学系统的协同设计是FlexiRay的硬件基石。Grasp Lab团队突破了“限制形变以保视觉”的传统思路，转而利用形变，通过系统级优化解决了软体抓手大变形导致的视觉遮挡难题。
- 视触光路布局优化：针对Fin Ray结构在抓取时的非线性变形特性，团队通过构筑分段式多反射镜阵列，巧妙实施被动式光路补偿，将传统软体结构的大变形遮挡劣势这一“物理约束”，逆转为拓展全域感知视角的“设计增益”。
- 全覆盖动态感知：这种“单相机+多反射镜”的构型，使得FlexiRay在抓取过程中，无论手指如何弯曲变形，都能通过直射和反射光路的互补，实现对接触区域的连续监测。实验表明，即便在极端形变下，其有效感知覆盖率仍稳定在87.2%以上，彻底解决了柔性VTS的“视野盲区”痛点。
▍多模态感智融合：单目视觉解耦五感，复刻“类人”触觉
依托于独特的硬件设计，FlexiRay结合深度学习算法，打破了单一模态感知的局限，仅凭一颗内置摄像头即可解耦并复现人手的五种关键触觉：力觉、接触位置、纹理、温度和本体感觉。
- 高精度力与位姿感知：通过解耦的神经网络架构，FlexiRay实现了0.17 N的法向力估计精度和0.96 mm的接触定位精度。同时，基于视觉的本体感觉模型能实时重构手指的空间形变，定位误差仅0.24 mm，实现了“手眼合一”。
- 兼具温度与纹理感知：在传感层材料设计上，融合热敏变色材料与铝粉反射层，使夹爪具备了1.17°C精度的温度感知能力和精细的纹理识别能力。这使得机器人不仅能“摸”出物体的软硬形状，还能“看”出物体的冷热，并在物体分类的测试任务中达到了96.7%的准确率。
▍交互与操作规划：从精细抓取到智能遥操，AI-机械协同决策
基于优越的柔顺性与全覆盖的多模态感知，FlexiRay构建了高安全性的交互与操作体系，在非结构化场景中展现出极强的鲁棒性。
- 柔顺抓取与安全交互：得益于Fin Ray结构的被动适应性与高灵敏度力控，FlexiRay能安全抓取薯片、蛋糕、生鸡蛋等极易碎物体。在人机交互中，它甚至能感知羽毛接触的微小力，并做出顺应式的安全闪避动作，实现了真正的“人机共融”。
- 增强现实感知的智能遥操作：在复杂的泡茶演示任务中，FlexiRay为操作者提供了包含力、位、形变及温度在内的全方位反馈。即便在视觉遮挡的情况下，操作者也能凭借触觉反馈完成盲操作（如调整茶盘姿态），并通过温度感知准确辨别水温，展示了其在远程医疗、危险处置等领域的巨大应用潜力。
▍核心价值与未来展望
FlexiRay的核心突破在于“化形变干扰为感知增益”的柔性视触传感设计：既保留了软体机器人本质的安全与适应性，又补齐了高精度、多模态感知的短板，为软体机器人的感知系统设计提供了全新的范式。在应用层面，FlexiRay低成本、易制造且高耐用（超40,000次循环测试）的特性，使其具备极高的商业化潜力。从精细的农业采摘、安全的家庭服务机器人，到复杂的工业柔性装配，FlexiRay正推动机器人手从“执行末端”向“智能感知终端”进化。未来，Grasp Lab将继续探索变刚度结构与更高级感知材料的融合，赋予机器人更接近人类的触觉智能。
▍机器人抓取实验室（Grasp Lab/GL）介绍
机器人抓取实验室（Grasp Lab）是浙江大学机械工程学院聚焦于机器人抓取的核心课题组，定位为“感知-推理-操作”全链条技术突破与工程化落地的创新平台。实验室以解决机器人在复杂真实场景下的高效环境理解、抓取轨迹智能推理及高可靠物理交互这一核心挑战性问题为目标，致力于构建面向家庭服务、超市物流、仓储分拣及工业制造等多场景的鲁棒操作优化系统，为智能机器人实现通用化、灵巧化抓取与操作提供高性能解决方案。
研究团队通过数学建模、灵巧手设计与控制、视觉感知融合及机器人自监督学习等前沿技术路径开展研究，已在国际机器人领域顶级期刊和会议上发表一系列高质量成果，包括IJRR、T-RO、NC、RSS等权威期刊与顶级会议
本文完全由GraspLab独立研究并撰写而成，第一作者王彦哲、郭昊天、吴浩（三者共一），通讯作者为实验室负责人董会旭。董会旭博士是浙江大学机械工程学院“新百人计划”研究员、博士生导师，入选国家高层次青年人才计划（“海外优青”），长期深耕机器人感知与抓取领域，为实验室的学术研究与团队建设奠定了坚实的学科基础和国际视野。
热门跟贴