CN / EN

深度学习电子皮肤解码复杂的人体动作(视频)

Source:
2022 May. 20
by The Korea Advanced Institute of Science and Technology (KAIST)
一种深度学习驱动的单张力电子皮肤传感器可以从远处捕捉人体动作。放置在手腕上的单一应变传感器与反映原始动作的虚拟3-D手实时解码复杂的五指动作。以快速情境学习(RSL)为基础的深度神经网络,无论其在皮肤表面的位置如何,都能保证稳定运行。


传统的方法需要许多传感器网络覆盖整个目标区域的曲线表面。与传统的基于晶片的制造不同,这种激光制造为运动跟踪提供了一种新的传感模式。


这个由计算机学院的Sungho Jo教授领导的研究团队与首尔国立大学的Seunghwan Ko教授合作设计了这个新的测量系统,该系统利用激光技术在金属纳米颗粒薄膜上产生裂纹,从而提取对应于手指多个动作的信号。然后,该传感器贴片被安装在用户的手腕上,以检测手指的运动。


这项研究的概念始于这样一个想法:在识别运动时,精确定位单个区域比在每个关节和肌肉上安装传感器更有效。为了使这种定位策略有效,它需要精确地捕获来自不同区域的信号,在它们全部收敛的点,然后解耦在收敛信号中的纠缠信息。为了提高用户的可用性和移动性,研究团队使用了一个单通道传感器来产生与复杂的手部动作相对应的信号。




一种深度学习驱动的单张力电子皮肤传感器可以从远处捕捉人体动作。放置在手腕上的单一应变传感器实时解码复杂的五指运动,并与反映原始运动的虚拟三维手。以快速情境学习(RSL)为基础的深度神经网络,无论其在皮肤表面的位置如何,都能保证稳定运行。Credit:Professor Sungho Jo, KAIST

快速情境学习(RSL)系统从手腕上任意部位收集数据,并通过反映原始动作的虚拟3-D手在实时演示中自动训练模型。为了提高传感器的灵敏度,研究人员使用了激光诱导的纳米级裂纹。




该感觉系统可以通过一个小的感觉网络来跟踪整个身体的运动,便于对人体运动进行间接的远程测量,适用于穿戴式VR/AR系统。


该研究团队表示,在开发这种传感器时,他们专注于两项任务。首先,他们将传感器信号模式分析为一个隐藏的空间,并将隐藏的矢量映射到手指运动度量空间。


乔教授说:“我们的系统可以扩展到身体的其他部分。我们已经确认,该传感器也能够从骨盆中提取步态运动。这项技术有望成为健康监测、运动跟踪和软机器人领域的转折点。”


青瞳视觉编译(如版权问题,请及时联系青瞳进行删除,给您带来的不便请谅解)

Contact us

CHINGMU is here to support your motion capture journey. We are happy to help you find the solution you need.

Contact our experts immediately