MonoEye使用单一可穿戴摄像机的人体动作捕捉系统

Source：

2022 May. 20

东京理工学院(Tokyo Institute of Technology)和卡内基梅隆大学(Carnegie Mellon University)的研究人员共同开发了一种新的人体动作捕捉系统，该系统由一个安装在使用者胸部的超宽鱼眼摄像机组成。该系统的简单性有利于在体育、医疗和娱乐领域的广泛应用。

基于计算机视觉的技术正在迅速发展，这得益于最近在集成深度学习方面的发展。特别是，人体动作捕捉是一个非常活跃的研究领域，推动了机器人技术、计算机生成动画和体育科学的发展。

在配备了特殊设备的工作室里，传统的动作捕捉系统通常依靠安装在天花板和墙壁上的几个同步相机来捕捉一个人的动作，这个人穿着有许多传感器的紧身衣。这种系统通常非常昂贵，而且穿戴者移动的空间和环境有限。

现在，由东京科技公司Hideki Koike领导的研究小组展示了一种新的动作捕捉系统，该系统由一个安装在使用者胸部的超宽鱼眼摄像机组成。它们的设计不仅克服了现有系统的空间限制，而且具有成本效益。

该系统名为“MonoEye”，可以捕捉用户的身体运动以及用户的视角，或称“视口”。研究人员说:“我们的超宽鱼眼镜头有280度的视场，可以捕捉用户的四肢、脸和周围环境。”

为了实现鲁棒多模态运动捕捉，系统设计了三个深度神经网络，能够实时估计三维身体姿态、头部姿态和摄像机姿态。

研究人员已经用一个广泛的合成数据集训练了这些神经网络，该数据集包括68万份人体渲染图，其中包括各种身材、服装、动作、背景和光照条件，以及1.6万帧逼真的图像。

然而，由于合成数据和真实数据集之间不可避免的领域差距，一些挑战仍然存在。研究人员计划用更加逼真的图像继续扩大他们的数据集，以帮助缩小这个差距，提高准确性。

研究人员设想，在未来，这种挂在胸前的相机可以被转化为领带夹、胸针或运动装备等日常配饰。

该团队的工作成果将在第33届ACM用户界面软件和技术研讨会(UIST)上发表，这是一个主要的人机界面创新论坛，拟于2020年10月20日至23日举行。

青瞳视觉编译，其目的是为了将更好的内容分享给更多人，版权依旧归原作者所有。若有涉及侵权请予以告知，我们会尽快在24小时内删除相关内容，谢谢。