全身Animoji吗?智能技术使用iPhone摄像头跟踪身体运动(视频)

Source：

2022 May. 20

忘记那些只会动的头像吧:卡内基梅隆大学的一个团队想要给全世界带来全身表情符号。作为卡内基梅隆大学人机交互研究所未来界面小组的主任，克里斯·哈里森的工作是帮助创造未来的计算机功能。

在本周发布的最新演示中，哈里森的团队提出了一种方法，通过估计你身体的其他部分在做什么，让普通iphone只使用前置摄像头就可以进行全身跟踪。

它的效果出奇的好。

哈里森告诉Cult of Mac网站说:“智能手机无法看到整个身体，所以我们必须聪明一点，结合多种传感器数据来源来做出准确的估计。”“更具体地说，我们融合了来自前后摄像头、面向用户的深度摄像头(苹果称之为TrueDepth摄像头)、惯性测量单元(IMU)和触摸屏的数据。这些不同的传感器提供不同的线索来判断身体的姿势。例如，(它们可以告诉我们)用户的手臂在哪里，或者他们是否正在走路。”

这款名为“摆姿势行走”(pose -on- go)的系统可以让iOS开发者使用全身姿势构建应用程序。“摆拍”不需要穿电影动作捕捉风格的服装，只需要今天的iphone上已经安装的传感器即可。然后智能算法将这些信息融合在一起。结果可以准确地估计用户的姿态——即使是在运动中。

从游戏到全身Animoji

“这仍然是一个估计，软件可能会被骗，但总体来说还是相当不错的，”哈里森说。“我们将我们的系统与好莱坞级别的动作捕捉系统进行了基准测试，在所有关节上——头部、手臂、腿部——平均误差[仅]20.9厘米。”

在一个令人印象深刻的演示中，该团队展示了一个人慢跑到一堵墙前，然后蹲下。追踪甚至没有漏拍一拍。

Harrison继续说道:“我认为游戏有很多用途，从能够计算你的重复次数并提供高质量反馈的运动应用，到让你奔跑，跳跃和躲避的全身游戏体验。“我们为自己制作的一款应用是一款幻想游戏，玩家可以用手来施放咒语。另一个可爱的演示是全身Animoji，用户可以挥手、跳舞、四处走动。”

未来iPhone的杀手级应用程序?

这有可能被应用到未来的iPhone中吗?目前还没有关于这方面的消息，而且，就目前而言，这只是一个概念的证明。然而，未来接口集团是硅谷公司关注的研究实验室之一。哈里森的前学生已经在一些科技巨头工作，包括苹果公司。

但即使苹果没有正式采用这项技术，这并不意味着你不会在未来的iPhone应用程序中看到它。“我们计划为我们的大部分代码提供开源版本，”Harrison说。“考虑到这都是软件，不需要新的硬件或加密狗，这可以作为软件更新在许多现代智能手机上实现。”

研究人员在本周的美国计算机学会(ACM)计算机系统人为因素会议上展示了“行走姿势”。你可以在这里阅读一篇描述这项工作的论文。