【元宇宙】为 XR 应用开发模块化可调节可穿戴触觉设备

大概

当前的 XR 应用已超越视听信息，触觉反馈正在迅速普及。然而，当前的触觉设备仍在不断发展，并且往往难以以平衡的方式结合关键的期望功能。在本文中，我们提出开发一种高分辨率触觉 (HRH) 系统来增强感知，这是一种可穿戴技术，旨在通过精确和局部的触觉反馈来增强扩展现实 (XR) 体验。HRH 系统采用模块化设计，具有 58 个可单独寻址的执行器，可在紧凑的可穿戴形式中实现复杂的触觉交互。双 ESP32-S3 微控制器和定制设计的系统可确保强大的处理能力和低延迟性能，这对于实时应用至关重要。与 Unity 游戏引擎的集成为开发人员提供了一个用户友好且动态的环境，可实现准确、简单的控制和定制。模块化设计采用柔性 PCB，支持各种执行器，增强了其在各种应用中的多功能性。将我们提出的系统与现有解决方案进行比较，可以发现 HRH 系统通过封装几个关键特性（包括可调节性、经济性、模块化和高分辨率反馈）而优于其他设备。HRH 系统不仅旨在推动触觉反馈领域的发展，而且还引入了一种直观的工具来探索人机和 XR 交互的新方法。未来的工作将侧重于改进和探索用于传达信息和扩展系统应用的触觉反馈通信方法。

人机交互;虚拟现实;扩展现实;触觉技术;可穿戴设备;高分辨率触觉;感知增强;振动触觉反馈

1.简介

自从 Ivan E. Sutherland 在 1965 年的 IFIP 大会上提出“终极显示”概念，为计算机图形学、虚拟现实 (VR) 和交互式计算的发展奠定了基础以来，多年来人们提出了许多定义来描述 VR 的概念。例如，Fuchs 和 Bishop 将其描述为“具有 3D 模型的实时交互式图形，结合显示技术，让用户沉浸在模型世界中并可直接操控”。Gigante将其定义为一种沉浸式、多感官体验，“依靠 3D 立体头部跟踪器显示、手部/身体跟踪和双耳声音，让人产生参与合成环境的幻觉，而不是从外部观察这种环境”。Slater提出了一种更为现代的观点，他认为 VR 是一种沉浸式、交互式系统，它能营造一种临场感，让用户感觉自己是计算机生成环境的一部分，所发生的事件是真实发生的，尽管用户认识到它的人工性质。这些定义尽管存在一些差异，但正如不同文章所证实的，有三个具体且一致的要素用于定义 VR：沉浸感、临场感和虚拟环境中的交互。具体而言，沉浸感是指多种感官参与的程度、交互水平以及虚拟环境复制现实世界刺激的程度。这一概念依赖于将用户与现实隔离开来的技术特性。沉浸感的程度取决于感官参与的数量和质量，旨在全面复制人类的感觉，包括触觉和其他感官输入。然而，创造一种模拟大多数或所有人类感官的综合体验仍然是一项重大挑战。尽管在商业化和多媒体产业发展的推动下，视听技术取得了显著进步，但有人认为，进一步的技术创新对于增强视听刺激以外的沉浸感和真实感至关重要通过增强感觉来追求更加身临其境的体验始于 VR 技术的出现，该技术的先驱是 Morton Heiling 和 Ivan Sutherland，他们开发了旨在实现完全沉浸式体验的设备。然而，在过去十年中，XR 领域发生了重大转变，超越了视觉和听觉刺激，融入了多感官体验，特别注重触觉反馈。对便携式电子产品的不断增长的需求以及可穿戴和柔性技术的发展支持了这一转变，凸显了触觉交互在增强 VR 环境真实感方面的关键作用，从而满足了对更多交互式技术日益增长的需求。这一进展表明各个领域研究的扩展和加强 ，特别是在临床应用领域，XR 被证明是非常有效的。

人类触觉感知包括运动知觉和皮肤（触觉）元素 。运动知觉反馈涉及对身体位置和运动的感知，由皮肤、关节、骨骼肌和肌腱中的受体介导 。相比之下，皮肤反馈与接触区域皮肤下的低阈值机械感受器检测到的刺激有关 。皮肤反馈包括一系列感觉，涉及分布在整个皮肤中的机械感受器和热感受器，它们对于感知外部刺激至关重要。这些感觉机制或其相关的传入周围神经的衰退会对日常生活造成重大限制。与皮肤整合的工程界面以可编程的方式与健康受体互动，可以提供感觉替代，这对于感觉神经受损、截肢或需要康复的患者至关重要。因此，现有的触觉设备旨在满足运动和皮肤反馈以创造触觉错觉，与用户感知的位置和触觉数据进行交互，同时整合来自虚拟环境的信息。

各类评论以及关于可穿戴界面及其应用的研究都 侧重 于 将触觉设备分为不同的类型，每种类型都为 VR 做出了独特的贡献。Culbertson 等人 认为，接地设备尽管在成本、便携性和工作空间要求方面受到限制，但仍能提供卓越的交互质量。相比之下，其他研究则 探索 了 手套和外骨骼等可穿戴设备如何优先考虑真实性和移动性，主要强调提供触觉和力反馈来模拟现实世界的交互。Laycock 和 Day 研究了手持设备如何通过振动或运动反馈增强游戏和 VR 中的沉浸感。众多研究项目支持的多种触觉设备类型凸显了触觉技术在增强虚拟环境沉浸感和人机交互方面的关键作用。

VR 中的触觉设备通常分为三类：可穿戴设备、地面手持设备，以及创新的非接触式系统，如 Adilkhanov 等人讨论的空中触觉。可穿戴设备（包括手套和外骨骼）提供与用户身体紧密结合的触觉和力反馈 。相比之下，地面手持设备传统上旨在通过提供物理阻力和触觉 来 模拟现实世界的交互。与此同时，新兴技术正在探索非接触式反馈机制，让我们得以一窥未来不受物理限制的沉浸式交互。

触觉设备的应用多种多样，从娱乐和游戏到更专业的领域，如医疗应用 、 康复、远程通信 、教育和心理学 。这些设备旨在增强 真实感，并通过虚拟 环境 中的感官反馈引入新的交流和交互方法。

可穿戴触觉反馈设备在模拟触觉（如触摸、压力和振动）以增强虚拟环境的真实感方面发挥着关键作用。最近的研究通过利用机械和电气执行器阵列扩大了这些接口的范围，不仅在指尖，而且在身体的更大区域 。 例如 ，指尖可穿戴设备可以通过与指尖高灵敏度 对齐 的密集执行器阵列提供触觉、滑动和振动反馈，从而增强 VR 环境和遥控系统中的沉浸感 。 同样 ，配备自感知执行器 (SenAct) 的手套可提供精确的力和振动反馈。其他解决方案，如 vDeltaGlove ，通过 VR 为遥控机器人系统提供多模 态 触觉反馈，与传统触觉设备相比，可在遥控任务中提供多模态用户体验和性能。基于皮肤电反馈的驱动顶针优先考虑可穿戴性和自然触觉传输，可通过智能手机应用程序轻松管理。在振动触觉反馈设备方面，采用线性谐振致动器 (LRA) 的设备已被用于人机交互。它们可以独立控制虚拟刺激的位置和强度，增强振动触觉界面的空间分辨率，同时减少致动器的数量。此外，将指尖振动器与手臂机构相结合以指示力的方向和强度的设备为 VR 中的触觉呈现提供了一种新方法，可以在有效传递定向力的同时减小设备尺寸。

为了在身体更大面积上提供全面而精确的触觉体验，Moriyama 等人探索了二维通信 (2DC) 技术。该技术同步多个执行器以提供协调的触觉反馈。虽然许多此类技术都侧重于复制现实世界的交互以增强沉浸感，但人们对将触觉反馈用作新的通信媒介的兴趣日益浓厚。Moriyama 的高密度触觉背心项目可以模拟手指敲击背部，体现了触觉技术在增强触觉通信方面的创新应用。这些进步凸显了高分辨率触觉设备不仅可以提高真实触觉的质量，还可以以新颖的方式用于人机交互和感官体验。总体而言，该领域正在朝着更直观、沉浸感更强、用途更广的可穿戴触觉反馈设备的方向发展。这些进步包括更高的分辨率、更多的皮肤感觉和对更广泛身体部位的适用性，以增强从娱乐到康复等各个应用领域的 VR 体验。

然而，若干挑战继续阻碍着它们的可用性。实现高真实感和保真度的反馈至关重要，因为设备力求准确地模拟触觉和纹理。关键的工程挑战包括实现空间分辨率、节能操作、宽动态范围和快速触觉响应。开发能够覆盖身体大面积区域而又不影响舒适度的设备仍然是一个重大障碍。可穿戴性和舒适性至关重要，需要允许长时间使用而不会引起疲劳的设备。先进触觉系统的高成本和有限的可访问性限制了它们的广泛应用，使许多人无法获得高质量的触觉体验。此外，实现无缝的用户交互以及与现有平台 和软件的兼容性对于创建更加用户友好的系统至关重要。另外，设备的多样性凸显了触觉技术对可扩展性和可定制开发套件的需求。开发套件的灵活性在探索和开发阶段非常有用，可以满足用户和研究人员的不同需求和偏好。

本文介绍了一种高分辨率、实时可穿戴触觉设备的开发，主要关注非交互式身体区域——通常不涉及精细运动任务和 XR 交互的区域，例如手臂、躯干、大腿和小腿。该设备通过使用合适的高密度、可单独寻址的执行器来提供有效的触觉反馈，解决了这些区域与手指和手掌等更敏感的区域相比触觉灵敏度较低的问题。对实时性能的重视指导了我们最小化延迟的方法，确保设备在 XR 环境中为用户提供即时和沉浸式的反馈。

虽然主要关注这些核心功能，但我们也力求整合实用因素，例如舒适性、模块化和经济实惠。模块化设计旨在为用户提供灵活性，使其能够针对不同的身体部位以及各种执行器、传感器和布局重新配置系统，使其适用于广泛的应用。

2.材料和方法

2.1. 系统设计与实现

本节详细介绍了新提出的触觉设备的架构，涵盖软件和硬件开发。

2.1.1. 系统概述

HRH 系统是一种综合解决方案，包括可穿戴触觉设备和前端应用程序，充当虚拟环境和现实环境之间的接口。该系统处理各种触觉，包括振动强度和频率（在触觉中通常称为“纹理”），以在虚拟环境中复制触觉反馈。该应用程序制定并生成数据，并将其传输到可穿戴 HRH 设备。然后，触觉设备处理这些数据，其接口将它们转换为用户可以感知的有形触觉。图 1 提供了系统概述，说明了数据如何从虚拟环境移动到触觉输出，展示了 HRH 系统的核心功能。

该系统需要软件和硬件开发，每个部分都分为较小的部分。硬件部分包括三个不同的组件：控制器、驱动程序和接口，每个组件负责特定的任务。软件部分包括 HRH 应用程序和固件设计，重点关注用户界面和处理数据和执行器行为。 图 2 描述了 HRH 系统及其组件的结构，分为软件和硬件开发部分。它还强调了硬件部分的模块化。这种模块化结构允许独立更新和调整，这对于适应不断发展的技术标准以及随着时间的推移或根据特定要求增强系统的处理能力和功能至关重要，所有这些都不需要对整个系统进行彻底检修。每个硬件模块或软件都可以单独修改或更换。

在以下小节中，详细介绍了 HRH 系统的实现，特别是可穿戴触觉设备和系统，特别关注硬件（ 第 2.1.2 节 ）和软件（ 第 2.1.3 节 ）方面。

2.1.2. 硬件设计和配置

在 HRH 系统的硬件设计中，我们采用模块化架构，以确保在各种应用中的适应性和定制性。该架构由以下三个主要模块组成：

• 控制器模块：作为设备的中央处理单元，使用基于 ESP32-S3 定制设计的微控制器模块。

• 驱动模块：调节 58 个 ERM 执行器的功率和频率分配，确保精确控制。

• 接口模块：使用定制设计的柔性 PCB（印刷电路板）将执行器固定到位，该 PCB 集成了五十八个振动触觉执行器。

每个模块都发挥着独特的作用，同时依次集成以形成一个有凝聚力的系统。接口模块连接到驱动器模块，驱动器模块又连接到控制器模块。控制器模块与计算机上的应用程序通信。这些模块的电子设计涉及 PCB 设计和选择电子元件，以确保根据项目要求实现最佳性能。 图 3 说明了 HRH 系统的硬件组件及其相应的实施部分，展示了它们在整体架构中的集成。

控制器模块

控制器模块充当中央处理单元，管理命令并同步驱动器的操作，随后使用两个带双核处理器的 ESP32 芯片同步接口模块（ 图 4 A）。此配置提高了系统有效管理触觉反馈数据并以最小延迟迅速响应用户交互的能力。

HRH 系统采用 ESP32-S3 芯片，这是一款功能强大的组件，适用于需要无线功能的复杂应用。在彻底审查了现有的商用微控制器并比较了它们感兴趣的特性后，我们选择了这款芯片。之所以选择 ESP32-S3，是因为它的双核处理器支持高效的多任务处理，并且具有强大的无线连接选项，包括双模蓝牙和 Wi-Fi，这对于无缝 XR 体验至关重要。此外，它的成本效率和低功耗管理功能可确保能源效率，使其成为需要延长电池寿命的可穿戴独立无线设备的理想选择。

控制器模块包括手动复位和启动按钮，这些按钮通过简单的按钮开关实现。这些功能通过在必要时提供简单的系统复位方法，方便了开发和故障排除。此外，模块的设计已针对信号完整性进行了优化，采用了电气噪声降低技术，例如适当的 PCB 布局、接地层和清晰的数据传输路径。为了进一步确保干净的信号传输并最大限度地降低信号噪声，还实施了其他硬件技术。对数据线应用了适当的屏蔽以防止电磁干扰 (EMI)，并使用接地电缆来减少通信期间的干扰。设计中集成了电容器以滤除电源中的电气噪声，并添加了组件以减轻反电动势的影响，反电动势会在电机停止时产生电压尖峰。这些措施确保向执行器传输一致且准确的信号，防止噪声影响触觉反馈系统的性能。

驱动模块

驱动器模块（图 4B ）调节执行器的功率和频率分配。该模块对于调整触觉反馈的强度和特性至关重要，使系统能够提供广泛的触觉控制，从而模拟现实世界的交互或创造独特的感官体验。它可以处理不同的电源范围并调整输出电压以满足不同执行器和双 ESP32 微控制器的特定需求。这种灵活性增强了系统在各种操作环境中的适应性。它旨在安全处理 5 A 电流，以确保同时驱动多个执行器的强大性能。该模块的设计包括连接器，可轻松与微控制器和接口模块集成，从而简化组装并确保可靠的配电。如果需要容纳不同类型的执行器或将传感器集成到系统中，可以单独更新或调整该模块的设计以满足要求。

接口模块HRH 系统中的接口模块旨在通过结合柔性 PCB 与用户交互，该 PCB 可定位执行器和必要组件，同时提供物理灵活性（图 4C）。此模块可以定制设计成各种形状，以适应不同的执行器布局、身体部位或特定应用（图 5 ）。当前的原型设计为矩形，如图 5中从左到右的第一张和第二张图所示，执行器的偏移网格图案覆盖面积约为 15 × 17 厘米。执行器之间的距离分别为 25 毫米和 20 毫米。这些距离是根据文献 [ 26 , 66 ]中针对不太敏感的目标身体部位（例如背部、手臂、肩部、胸部、大腿和小腿）的机械感受器的两点辨别阈值选择的。这确保了分辨率适合这些区域。如图 6所示，单一形状可以附着到身体的不同部位。此配置模拟了抚摸皮肤的感觉，模仿了触觉绘制形状。当前设计中使用的 58 个振动器是 10 × 3 mm 微型振动电机（DC 3V 12,000 rpm 扁平硬币按钮型）。当前设置中使用的振动器数量远远高于现有的常见的基于 ERM 振动器的触觉可穿戴设备中的振动器数量，通常最多 12 个，在某些情况下，大约 33 个或更少的执行器（表 1）。这为我们提出的设备带来了显著优势，可实现高分辨率的触觉输入。之所以选择 ERM 型振动器，是因为其强大的感觉、有效的安装技术以及相对紧凑和轻巧的设计。

系统集成

HRH 系统将微控制器、驱动器和接口模块组合成一个 25 × 20 cm 的紧凑组件（图 4 D），其中必要的硬件组件安装在柔性 PCB 上。PCB 是使用 EasyEDA在线 PCB 设计软件（一种电子设计自动化 (EDA) 工具）设计的。设计完成后，PCB 的制造和组装外包给 JLCPCB，该公司专门从事高质量的 PCB 生产。PCB 的组件来自 LCSC。该系统包裹在一个由浅棕色绒面革、轻质柔软的面料和遮光羊毛衬里面料制成的外壳中，该面料因其舒适性和亲肤性而受到青睐。这种材质的选择确保设备佩戴舒适，就像日常可穿戴技术一样。轻巧的设计，重量约为 350 克（60 克电子产品 + 290 克外壳和织物），给用户带来的负担最小，使该系统适用于 XR 会话。

除了 提供舒适感之外，这些材料还有助于减少设备在操作过程中产生的机械噪音。织物背衬可吸收振动，特别是在容易摇晃或过度运动的区域。振动器使用热胶固定在织物上，热胶可缓冲执行器的背面，同时保持前部与皮肤接触。这种设置可防止刚性组件发生碰撞，并进一步降低噪音水平。此外，可以使用软件控制来调整执行器的频率和强度，帮助控制机械噪音。在虚拟现实环境中，还可以集成背景声音来掩盖任何剩余的噪音，确保沉浸式的用户体验而不会分心。

此外，HRH 系统的开发还考虑了欧盟相关指令，包括无线电设备指令 (RED) 、电磁兼容性 (EMC) 指令和通用产品安全指令 (GPSD) 。

2.1.3. 软件开发

所提出的 HRH 系统包括相应软件的实现，可实现 (i) 与设备的交互和 (ii) 设备的功能。完整的软件系统包含两个主要组件，遵循模块化编程的良好实践：

• HRH 应用程序：使用 Unity 开发的前端和逻辑组件。这款用户友好的应用程序允许用户与虚拟环境交互，触发触觉，并包含用于控制执行器行为和管理与微控制器的数据通信的脚本。

• 微控制器固件：在微控制器上运行的软件，实现其功能，管理硬件操作，并处理从 HRH 应用程序接收的数据。

HRH 申请

HRH 应用程序由前端和逻辑组件组成，旨在控制 HRH 系统。软件开发专注于使用 Unity 游戏引擎创建直观高效的界面来管理运动和皮肤触觉反馈。Unity 对 VR 和 AR 应用程序的支持，加上其编程灵活性，使其成为开发复杂触觉反馈机制的理想选择。虽然选择 Unity 是因为它的功能，但 HRH 系统也与其他平台兼容。固件旨在通过串行端口、蓝牙或 Wi-Fi 协议在每次通信中接收表示所有执行器状态的数字数组，格式为特定格式。这种设计允许任何能够生成这些格式化数据的平台控制 HRH 系统，包括 Unreal Engine、WebXR 和其他游戏引擎或软件框架。目前，Unity 类管理 XR 环境中执行器的逻辑和反馈。将来，可以为其他平台开发类似或新的接口，以确保系统广泛适用于不同的用例。这种灵活性，加上项目的开源性质，使开发人员能够将 HRH 系统集成到不同平台的各种应用程序中，使其适用于各种 XR 系统。在应用程序中，3D 对象被定义为“执行器”或“有形”对象。当虚拟有形物体 (VTO) 接近虚拟执行器物体 (VAO) 时，基于距离的方程会计算交互类型，并将结果传达给微控制器。具体而言，执行器值使用以下公式计算：

执行器强度=（最大值（ 0,1-VTO和VAO之间的最近距离 扫描距离 ））功率因数 执行器 强 度 = 最大限度 0 ， 1 − 最近 距离 之间 门口机 & 垂直气道阻塞 扫描 距离 力量 因 素

Actuator intensity = max 0 , 1 − Closest distance between VTO & VAO Scanning distance Power factor " role="presentation">

该方程使得系统能够根据距离确定反馈的强度。

开发过程涉及几个关键组件，包括自定义库（用于促进执行器的布局、控制它们并可视化它们对应用程序中有形对象的行为）和设备管理器（用于处理与微控制器的通信）。真实触觉系统软件的一个重要部分是准确定位每个 VAO 以反映其真实世界位置并获得准确的动觉反馈。为了实现这一点，开发了“执行器布局创建器”类来自动定位应用程序中的执行器，使用参数控制生成准确反映真实世界布局的偏移网格图案（ 图 8A ）。此外，为了实现更真实和身临其境的交互，“表面上的执行器映射器”类旨在塑造弯曲表面（例如身体的不同部位）的 VAO 组（ 图 8B ）。这是使用三种不同的基于 Raycast 的技术实现的。第一种是简单表面映射，它使用 Raycast 将每个执行器投射到表面上，将其映射到所选方向的直线击中点，并将其与该点的表面法线对齐。第二种技术是基于参考的表面映射，它使用来自参考执行器的射线投射来定位所有执行器，并根据该参考点保持它们的初始相对位置。第三种技术是保持距离的表面映射，它通过沿表面扫描来映射执行器，同时保持它们之间的原始距离（ 图 8C ）。这可确保模拟的执行器行为与它们的真实位置准确匹配，从而提高动觉反馈准确性。“执行器管理器”类旨在定义和管理执行器作为皮肤反馈的行为。在此应用中，VTO 与 VAO 的接近度是影响执行器强度的主要因素（ 图 8D ）。距离可以选择为从中心到 VTO 的最近表面或从 VTO 到 VAO 中心的距离。因此，3D VTO 的形状会影响执行器的模式和强度。当 VTO 接近 VAO 时，执行器的反馈强度会增加。例如，当距离为零时，执行器以 100% 强度运行，而在最大扫描距离时，强度为零。

该类提供可配置的参数，例如扫描距离（定义执行器对物体的响应范围）、距离功率因数（确定距离与执行器强度之间的关系）以及最小和最大阈值（设置执行器强度的界限）。此外，“执行器管理器”类包括计算值的可视化表示。它从有形物体到激活的执行器绘制线条，并根据计算出的强度更改执行器和线条的颜色。这种可视化有助于理解和调试虚拟物体和执行器之间的交互。

VTO 的定义包含一个“有形对象”组件，这是一个自定义类，用于指定对象的特性，例如其频率以及是否使用动态频率。“执行器管理器”类利用这些特性为各种有形对象生成不同的频率和感觉。此外，该类还包括一种处理多个对象的机制，这对于更复杂的场景很有用。此机制允许定义几个有影响的 VTO 及其各自的权重（ 图 9 ）。例如，它可以配置为仅对最近的 VTO 或扫描距离内的多个 VTO 做出反应，根据它们的接近度分配不同的权重。例如，最近的物体可能有 100% 的效果，第二近的物体有 50% 的效果，第三个有 20% 的效果。

目前，根据 VTO 与 VAO 的接近度设计了两种执行器行为机制。第一种机制根据 VTO 的接近度调整执行器的强度（功率），而不改变频率。第二种机制根据 VTO 和 VAO 之间的距离修改执行器的频率。总之，使用上述方法和配置的设置计算 VAO 数据，并通过“通信管理器”传输到微控制器，微控制器可以利用串行端口、Wi-Fi 或蓝牙配置将数据传输到设备。

微控制器固件

微控制器模块具有双 ESP32-S3-MINI-1U微控制器（ 图 10 ），是 HRH 系统的核心处理单元，负责监督命令管理并协调其他模块的活动。本节详细介绍了微控制器的编程方面和功能，强调了其在确保高效、灵敏的触觉反馈方面的作用。

之所以选择 ESP32-S3-MINI-1U，是因为其强大的双核处理器支持实时应用所必需的高效多任务处理。它提供双模蓝牙和 Wi-Fi 连接，确保灵活、稳定的无线通信选项，这对 XR 体验至关重要。此外，其低功耗管理功能针对可穿戴设备进行了优化，提高了能源效率并延长了电池寿命。微控制器使用支持 ESP32 平台的 Arduino IDE进行编程。该开发环境提供了一套全面的库和工具，用于配置微控制器、管理通信协议和处理执行器控制。

HRH 系统的一个特点是包含双微控制器设置，其中两个 ESP32 微控制器被指定为主控制器和从控制器。这种配置不仅可以处理触觉反馈的复杂性，还可以以最低的延迟控制总共 58 个 PWM（脉冲宽度调制）引脚（每个微控制器 29 个）。这些微控制器之间的高效通信对于同步操作至关重要。因此，实施了自定义的 4 位通信协议，以实现主微控制器和从微控制器之间的高效数据交换。微控制器被编程为使用 CPU 生成 PWM 信号来控制执行器，持续时间可调，范围为 1 至 99,999 微秒，从而可以精确控制执行器的频率和强度。因此，微控制器可以达到一个引脚的标称频率 500 kHz（最小周期为 2 微秒）。由于微控制器的 PWM 独立通道限制，因此开发了一个自定义的 PWM 模拟器：通常有 16 个通道，而这个特定的 ESP32-S3 仅限于 8 个通道，这意味着只有 8 个引脚可以产生独立的 PWM 信号，而 HRH 需要每个微控制器的 29 个引脚才能用作 PWM（图 10）。

固件使用特殊的操作系统来有效地管理任务，确保控制 PWM 信号和处理数据等重要任务在微控制器的独立处理核心上顺利运行。

3.结果

本节通过与各种现有触觉设备的关键因素和振动触觉执行器的多样性进行比较来评估 HRH 系统。

3.1. 与现有触觉设备的比较

表 1比较了各种现有的触觉设备，包括商用产品和研究原型。此比较侧重于关键参数，例如响应性（延迟/频率）、价格、执行器的数量和类型、重点身体部位以及商用可用性。需要注意的是，这不是一个详尽的清单，因为触觉设备的多样性非常大。我们选择了与 HRH 系统具有某些共同特征的设备，无论是在执行器数量、提供的反馈类型还是整体功能方面，以提供相关的比较。

延迟是触觉设备性能的一个关键因素，尤其是在实时 XR 应用中。HRH 设备中的总体延迟由多个组件决定。微控制器更新周期涉及更新所有 58 个 PWM 引脚的数据，这构成了基准延迟。在当前设置中，数据通过串行端口以 250 kbps 的波特率传输到两个 ESP32-S3 处理器。最明显的延迟发生在这些处理器之间的数据转换期间。通过在六个引脚上使用自定义 4 位通信协议，微控制器的周期时间估计约为 4 毫秒。采用 MOSFET 组件的驱动器模块对延迟的影响极小，最坏情况下的切换时间仅为 5 微秒。使用微型振动电机的接口模块的初始反应时间不到 5 毫秒，但延迟可能在 5 到 50 毫秒之间变化，具体取决于目标速度和变化幅度。这些元素结合在一起，使得 HRH 设备的标称平均延迟小于 20 毫秒，符合沉浸式 VR 体验所必需的人类感知阈值。

HRH 系统的突出特点包括其高密度执行器、低延迟和模块化设计，这些特点共同提供了增强的触觉分辨率、卓越的舒适度和对各种应用的适应性。这些特点使 HRH 系统成为沉浸式 XR 体验的创新和多功能解决方案。

3.2. 振动触觉执行器的多样性

所提出的 HRH 系统的一个特点是它能够支持多种振动触觉执行器，这使它超越了现有的解决方案。这种灵活性使系统可以根据各种应用和用户需求进行定制。通过容纳不同类型的执行器（包括 ERM、LRA 和音圈），HRH 系统可以提供不同类型的触觉反馈。本节重点介绍了使用不同执行器与 HRH 系统的兼容性和优势，展示了其对各种用例的适应性和潜力。

其中，ERM 振动触觉执行器因其体积小、易于控制、成本效益高和反馈及时而受到触觉技术的青睐 。尽管具有这些优势，但在实现沉浸式 XR 体验的精确定位方面仍然存在挑战。有效的触觉反馈执行器必须满足特定要求，以模拟逼真的触觉（表 2）。人类触觉感知范围在 50 至 400 Hz 之间的频率下最敏感，在 250 Hz 左右达到峰值。在静态条件下，典型的感知阈值为 10–100 mN 的力和 10–100 µm 的位移，在动态条件下可以感知到更小的位移（0.85 µm）。工作频率低于 1 kHz 的执行器是满足这些灵敏度范围的理想选择，可确保精确和细致入微的反馈。

振动触觉执行器在触觉技术中起着至关重要的作用，它提供各种机制来模拟触觉。不同类型的执行器，如电磁（ERM、LRA 和音圈）、静电和压电/电致伸缩（陶瓷和聚合物）执行器，都有不同的特性，适合特定的应用。为了更好地了解这些执行器的功能和规格，我们编制了一个比较表（表 3 ），其中列出了它们的关键参数，包括驱动电压、电流、能耗、振动频率、响应时间、位移和合适的应用。该表是基于 Chen 等人在文献中提供的表格的扩展版本。

触觉技术的最新进展主要集中在提高性能以及将这些执行器集成到各种设备中。逆滤波器校正 等技术通过精确聚焦感觉来增强定位。创新推动了嵌入织物的透气执行器和轻质介电弹性体执行器的发展，这些执行器不会损害舒适性或功能性。此外，ERM 执行器通过新型闭环系统 得到了改进，进一步增强了响应能力和反馈控制。对空间动态振动触觉刺激和软电磁执行器的研究正在进行中，以提供创新解决方案，增强 VR 中的用户参与度。

根据这一比较，偏心旋转质量 (ERM) 执行器因其简单的设计、有效的触觉反馈、高位移、成本效益和适中的功耗而成为一种平衡的选择。虽然它们有一些局限性，例如响应性和将振幅与频率分离的挑战，但这些局限性被闭环系统的最新进展所缓解，这些进展显著提高了它们的性能。这些特性使 ERM 执行器非常适合我们的项目目标，即为沉浸式 XR 体验提供即时可靠的触觉反馈。

4.讨论

在本文中，我们介绍了一种新型高分辨率触觉 (HRH) 系统的开发，旨在潜在地增强 XR 体验。该系统的模块化设计具有显著的优势，包括灵活性和对各种应用的适应性。这种设计确保微控制器、驱动程序和接口模块等组件可以独立更新或修改以满足特定要求，而无需对整个系统进行大修。这种模块化不仅简化了维护，而且还扩展了设备在各种用例和用户需求中的适用性。

在系统性能和模块化方面，双 ESP32-S3 微控制器的集成提供了强大的处理能力和冗余度，这对于处理复杂的触觉反馈和确保可靠的性能非常重要。这种设置可以实现高效的多任务处理，从而提高系统的响应能力并减少延迟。无需额外的驱动器 IC 即可直接控制 PWM 信号，简化了硬件设计，提供了更多控制，并减少了潜在的故障点，从而确保了更稳定的性能。在柔性 PCB 上实现的接口模块是 HRH 设计的另一个方面。这种灵活性对于可穿戴应用特别有益，使设备能够舒适地适应各种身体部位。例如，接口可以设计用于手套、头盔、鞋子或任何其他可穿戴配置。

能够轻松地重新定位和固定不同的组件和执行器，使系统具有高度适应性，只需对接口模块进行最小的更改，即可修改执行器的位置。当前的 HRH 设计采用了 58 个偏心旋转质量 (ERM) 类微型直流振动电机。除了 ERM 电机外，该系统还支持各种执行器，包括线性谐振执行器 (LRA)、音圈执行器、压电执行器、微型螺线管和各种小型直流电机。该系统可容纳在 1.25 V 至 10.5 V 电压范围内工作的执行器，总电流容量高达 5 A。这种与不同执行器类型的广泛兼容性使 HRH 系统能够适应广泛的应用，从而增强了其多功能性和灵活性。虽然当前的设计主要使用来自 ERM 电机的振动触觉反馈，但 HRH 系统的模块化和灵活性特性允许集成其他触觉反馈模式，例如基于压力的反馈、温度变化等。这种适应性使得我们能够根据具体场景在 XR 环境中创建更丰富、更具沉浸感的感官体验。未来的工作可以探索这些附加模式的潜力，以进一步增强系统的触觉反馈能力，提供更全面的触觉交互，并评估它们在不同用例和应用中的效果。

在 HRH 系统中，硬件设计中使用了多个微控制器来确定模拟控制所需的执行器数量。这种设置可以精确管理需要单独调整和快速响应时间的众多设备，例如触觉反馈系统中的设备。虽然现场可编程门阵列 (FPGA) 或复杂可编程逻辑器件 (CPLD) 等其他解决方案可以实现非常低的延迟，但与当前解决方案相比，设计和编程的复杂性以及系统的总成本将带来重大挑战 [ 81、82、83 ] 。虽然可以替代使用数模转换器 ( DAC )，因为它们可以精确控制输出电压，这对于微调执行器信号至关重要，但DAC 通常会比微控制器引入更多的延迟。这是因为将数字信号转换为模拟输出需要时间。尽管转换过程相对较快，但与脉冲宽度调制 (PWM) 等直接数字控制方法相比，这种转换过程可能会延迟信号传输。此外，与我们的解决方案相比，使用 DAC 的系统的复杂性和成本会更高 。

另一种选择是使用多个 PWM 驱动器 IC，例如 PCA9685。该 IC 通常用于控制多达 16 个独立的 PWM 输出，因此在需要独立控制多个组件的应用中很受欢迎，例如高级照明系统或机器人伺服系统。它有助于将 PWM 管理从主微控制器上卸载，通过集中控制多个输出来简化系统设计。与使用单个微控制器和多个 PCA9685 扩展器的系统不同，HRH 系统采用双 ESP32-S3 微控制器设置。每个 ESP32-S3 都配备双核处理器，显著增强了处理能力。这种配置不仅可以同时处理更多数据密集型任务，而且还提供冗余，从而提高系统的可靠性。尽管 ESP32-S3 内置 PWM 支持，但它只能同时控制 8 个 GPIO 引脚。为了满足以最小刷新率（更新所有引脚所需的间隔）控制 29 个引脚的要求，HRH 系统利用 ESP32-S3 的 CPU 能力来生成 PWM 信号。ESP32-S3 的一个核心专用于生成 PWM 信号，而另一个核心则用于其他计算和处理任务。这种策略消除了对额外 PWM 驱动器 IC 的需求，减少了潜在故障点并降低了延迟，因为信号直接从 ESP32-S3 处理和输出。这可以更精细地控制执行器并更快地响应传感器输入。由于组件数量减少，开发和硬件故障排除都变得更加简单。ESP32-S3 核心直接参与生成 PWM 信号和处理数据，再加上板载 Wi-Fi 和蓝牙模块，简化了硬件布局和软件开发，从而方便修改和维护。最后，ESP32-S3 的高级电源管理功能超越了将基本微控制器与多个 PCA9685 相结合的配置。这在可穿戴 XR 应用中特别有利，因为提高电源效率可直接延长电池寿命并提高用户舒适度。

最大限度地减少用户疲劳对于触觉设备的长期可用性至关重要，特别是在扩展现实 (XR) 应用中，用户会长时间沉浸其中。我们开发了轻巧灵活的触觉设备，旨在通过确保高操作效率和稳定性来减轻疲劳，从而提高长时间使用时的舒适度。此外，触觉设备施加的认知负荷（特别是在教育环境中）会显著影响用户疲劳。研究表明，触觉反馈虽然有利于减轻认知负荷和增强学习，但需要仔细考虑教学设计和触觉界面灵敏度，以优化用户舒适度。此外，不充分或不切实际的触觉反馈会破坏沉浸式体验，在用户试图整合视觉和触觉刺激时可能会增加认知压力。在我们的实验方案中，我们在几次试验后加入了休息期，以有效解决疲劳问题。

考虑到 HRH 系统的软件设计，它具有在虚拟环境中精确控制触觉反馈的优势。执行器布局创建器、表面执行器映射器和执行器管理器等核心工具提供了多功能性和定制性。这些工具允许根据每个组件的真实位置进行定位，并提供对振动行为的详细控制，从而增强了真实感。这使得该系统适用于广泛的 XR 应用，包括游戏、医疗培训、康复、远程通信和教育等领域。例如，在医疗培训中，精确的位置和多样的触觉反馈可以复制各种纹理和阻力，提供更逼真的训练环境。在外科手术训练中，该系统可以模拟触觉，增强训练过程的真实感和有效性。在康复方面，该系统的可定制触觉反馈模式可以通过针对身体的特定部位来帮助治疗和康复过程。这一特点在物理治疗中尤其有益，因为振动模式可以帮助肌肉刺激和放松，改善治疗效果。

HRH 设备目前没有内置物理传感器来直接检测设备上的真实世界触摸。但是，其模块化设计允许轻松适应并在需要时集成其他传感器。通过修改驱动板和接口模块，我们可以使设备能够感知来自现实世界的触摸输入，从而增强其在各种 XR 应用中的交互性和可用性。设计的灵活性还使得开发同时提供感知和反馈功能的混合设备成为可能，这对于需要实时感官输入的交互式场景来说是一项重要功能。这种适应性使 HRH 系统可用于广泛的应用，从简单的触觉反馈系统到需要真实世界触摸输入的更复杂的交互式环境。未来的工作可以集中在集成此类传感器上，以进一步扩展设备的功能和交互性。

此外，该系统还提供了进一步探索触觉通信的机会，通过触觉反馈提供一种新颖的非语言通信渠道。这可以证明对远程咨询或远程医疗大有裨益，可增强通信体验。在教育领域，HRH 系统通过将触觉反馈纳入虚拟实验室或交互式模拟，有可能增强学习。这可以让学生在安全、可控的虚拟环境中体验不同材料的纹理或机械振动，从而丰富他们的理解和参与度 。此外，在游戏和娱乐方面，与游戏内动作同步的精确触觉反馈可以提高玩家的参与度和真实感，提供更具沉浸感的游戏体验。此外，该系统还可应用于辅助技术，通过提供触觉反馈来帮助有感觉障碍的个人在虚拟和现实世界环境中导航和交互，从而促进可访问性和包容性。

未来系统技术配置的工作将涉及进行详细的实验，以验证设备的有效性并进一步完善概念。这包括创建可区分的触觉模式和特征以形成全面的触觉语言。目标是为各种应用建立一个细致入微、多方面的触觉通信系统，增强现实世界的感知并改善 XR 中的沉浸式体验。设计的实验将侧重于设备的功能，包括执行器的响应能力、控制信号的准确性和整个系统的稳定性。这些测试对于验证设备的技术性能和确保可靠性至关重要。此外，实验将收集有关触觉反馈模式和可区分特征（例如强度、速度和频率）的初始用户反馈，方法类似于 Abad 等人的方法。。此外，未来的工作还将评估 HRH 系统在高度复杂和苛刻的 XR 环境中的性能。这些评估将侧重于系统处理密集处理负载的能力以及在需要快速响应交互的场景中提供实时触觉反馈的能力。可扩展性、系统延迟和在具有挑战性的虚拟环境中的稳定性等关键性能指标对于确保 HRH 系统在各种 XR 应用中的稳健性至关重要。目标是评估高级触觉通信的触觉特征的可辨别性和意义，并评估该设备通过触觉反馈增强 XR 感知的潜力。

5. 结论

HRH 系统代表了触觉反馈设备领域的一项进步，特别适合增强扩展现实 (XR) 体验。该系统采用模块化设计和高密度执行器，是一种多功能且响应迅速的解决方案，可提供细致入微的触觉反馈。双 ESP32-S3 微控制器设置可确保强大的处理能力和低延迟性能，这对于实时触觉交互至关重要。该设计强调可穿戴性和适应性，采用可适应各种身体部位的柔性 PCB，从而提高用户的舒适度和沉浸感。与 Unity 游戏引擎的集成促进了触觉反馈的无缝软件管理，提供精确的控制和逼真的触觉模拟。该系统支持一系列执行器的能力进一步扩大了其范围，使其适用于各种应用，包括 VR 游戏、医疗培训、康复、远程通信和教育工具。未来的工作将侧重于改进触觉模式并建立全面的触觉通信语言，旨在增强虚拟和现实世界的互动。总之，HRH 系统不仅解决了触觉技术中现有的挑战，还为沉浸式和交互式 XR 体验开辟了新途径，标志着人机交互领域向前迈出了一步。该项目的开源性质鼓励研究人员进一步创新和发展机会。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系。所有信息仅供参考和分享，不构成任何投资建议。加密货币市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

关注我，一起探索AWM！

虚拟现实在考古的作用：重建古文明

2024-10-14

2024-10-13

2024-10-12