索尼沉浸式音乐的创新虚拟表演

Source：

2022 May. 20

对于流行歌星来说，保持在公众的视线中意味着不断地在社交场合、播放列表、舞台上脱颖而出，等等。但在限制流行病蔓延成为常态的一年里，许多艺术家不得不找到新的方式来接触世界各地的粉丝——有时达到令人瞠目的程度。

在过去的12个月里，在明星云集的直播和创新的虚拟表演中，Epic Records的艺术家麦迪逊·比尔发布了可能是迄今为止对音乐家最逼真的描绘。麦迪逊啤酒沉浸式现实音乐会体验(Madison Beer Immersive Reality Concert Experience)在TikTok LIVE上首次亮相，现在广泛应用于YouTube、VR平台和更多平台。这表明，当艺术家将实时渲染和虚拟制作置于自己的视野中时，一个想法可以走多远。

麦迪逊的超现实数字化身是这场音乐会的核心，而这在现实生活中是不可能重现的。索尼音乐娱乐公司(Sony Music Entertainment)和威瑞森(Verizon)与麦迪逊合作，对纽约索尼厅(Sony Hall)的场地进行了全面的改造，并以一个大牌艺人的所有生产价值，呈现了她的热门歌曲的合集。只有音乐会是完全虚拟的——除了驱动体验的音乐和表演。

对于寻求与观众建立联系的创造性冒险的艺术家来说，虚拟可能是一件好事。虽然大多数音乐会受到现实生活的限制，但虚拟音乐会可以是艺术家想要的任何形式，让他们有能力塑造粉丝体验，实现比现实生活更高层次的幻想概念。麦迪逊啤酒(Madison Beer)的沉浸式现实音乐会体验(Immersive Reality Concert Experience)采用了这一理念，并将其付诸实践，将一段内容变成了一种跨媒体活动，可以让从YouTube到VR的粉丝们兴奋不已。

尽管3D技术给了他们足够的空间，但由Sony Immersive Music Studios、Magnopus、Gauge Theory Creative和hyperreal领导的制作团队仍然认为保持一种现实主义的价值。

索尼沉浸式音乐工作室负责人布拉德•斯帕尔表示:“当我们从一张空白画布开始时，我们的创意目标是通过对真实场地和真实艺术家的逼真再现，构建一个虚拟音乐会，但也要有足够的魔力来重新想象音乐会体验本身。”

Magnopus的联合创始人亚历克斯·亨宁(Alex Henning)说:“你可以从一些在现实环境中完全合理的东西开始，因为这样才能让你的粉丝投入其中，接受体验。”“一旦你让他们迷上了真相的核心，你就开始在它的基础上加上幻想。你越能完成前者，你就越能从后者中获得惊喜。”

对马格诺珀斯来说，这意味着场地和视觉特效包。对于Hyperreal来说，这意味着麦迪逊本人。

Hyperreal首先在洛杉矶用两组独立的高分辨率摄像系统拍摄了麦迪逊的脸和身体。第一个系统为她的脸、脖子和肩膀生成了一个体积，因为它记录了子毛孔水平的光度数据。通过捕捉她从各个角度移动的方式，Hyperreal能够获得足够的数据来构建一个超现实的化身，或“HyperModel”，避开了恐怖谷。

在200台摄像机的帮助下，麦迪逊的身体、肌肉和形状被记录在一系列生物力学位置上，以确保Hyperreal的实时HyperRig系统的变形精度。在添加了麦迪逊喜欢的装备、发型和耳环之后，hyperreal将角色带进虚幻引擎，在洛杉矶的PlayStation Studios现场拍摄前进行运动实验。

与此同时，Magnopus也在努力开发场地和视觉特效系统。和《超级模特》一样，我们的目标是尽可能保持真实，以便为活动打下基础，所以当像星形场这样的东西开始出现在麦迪逊上空时，它们会显得神奇而令人惊讶。

在考虑了激光雷达的全面扫描后，索尼沉浸式音乐工作室决定从头开始建造场地，以允许他们对灯光有更多的控制。他们从原始的CAD文件开始，这些文件被导入Autodesk Maya并给予完整的艺术处理，包括所有使索尼大厅独特的细微差别。Magnopus随后能够在灯光和视觉特效的基础上实现重新想象音乐会体验的总体目标。

Spahr说:“索尼大厅是一个充满个性、细节和美感的私密场所，这使它成为体验的理想环境。”

“因为规模，它对VR也很有利。它不是一个巨大的、空洞的竞技场，也不是一个狭小的俱乐部，”亨宁说。“它几乎拥有完美的尺寸。”

由于虚幻引擎将在整个创作过程中使用，Magnopus利用其内置的虚拟侦察工具来设置摄像机，这样他们就可以在进入特效之前测试灯光。但首先，他们需要表演。

不像大多数动作捕捉拍摄，每个人都可以在一起，麦迪逊啤酒沉浸音乐会体验是一个遥远的事情，由美国各地的团队推动。在洛杉矶，麦迪逊·比尔穿着动作捕捉服，头戴摄像头。在费城，Hyperreal首席执行官雷明顿·斯科特(Remington Scott)使用虚拟现实头盔实时指导她，这不仅让他能够在虚拟的索尼厅(Sony Hall)内面对面地观看麦迪逊的化身，还遵守了让他们分开的新冠疫情限制。

因为虚幻引擎是实时运行的，虚拟产品可以使用它的远程协作工具在世界任何地方流媒体3D环境，完全同步的地点。这使得麦迪逊的表演可以连续录制，没有删减和编辑，这对一个希望表演尽可能真实的团队来说是很重要的。

动作捕捉拍摄完成后，经验是抛光，摄影师汤姆格林能够建立的最后9.5分钟表演的镜头选择。

Gauge Theory Creative董事总经理Tom Glynn表示:“有些时候，你简直不敢相信这是在游戏引擎中实现的。“这是一个有表演的3D世界，与此同时，我在移动摄像机。当我在取景器中拍摄时，很难相信我看到了什么。我看着麦迪逊啤酒的化身，感觉就像和我一起站在房间里的真人一样。这让我大吃一惊。”

在两天的时间里，摄制组拍摄了数百次，以确保他们可以拍摄到任何他们想要的镜头。

“我们按下播放键，麦迪逊在表演，汤姆在实时拍摄。他立刻就在他面前的监视器上看到了他拍的照片。然后我们会停下来，重新调整，点击播放，音乐会又会继续，他又有了一次机会，”Spahr说。“这种实时反馈是巨大的。如果说这次比赛有什么挑战的话，那就是‘我有那么多好照片，却不知道该用哪一张’。’这是一种财富带来的尴尬。”

Glynn对一个摄影师的虚拟制作体验是多么容易感到惊讶，特别是对于“音乐会”拍摄。传统上，一场现场表演需要5到12个不同的摄影师，他们会用各种不同的三脚架、推车、稳定器等安置在场地的重要位置。团队要做好准备，拍摄一次，然后得到他们想要的。在这种情况下，Glynn能够使用所有相同的设备，包括一个手持钻机，但电影在虚拟世界中，允许快速拍摄。

使用虚幻引擎，Glynn也能够克服一些物理限制的现实世界与几个快速命令。比如，有时候他想拍的照片会略高于或低于麦迪逊的视线。所以团队只是在环境中把他的体型增加了1.2或1.5倍，他突然变得足够“高”了。其他时候，他想跟上她的快速动作，但又不想让动作显得不连贯。所以他们将平移比例增加了1.5 - 2倍，直到一步等于7步。

一旦镜头被“放进罐子里”，马格诺珀斯就得给它添加一些特效，这些特效不仅能吸引眼球，而且在现实生活中是不可能的。

Magnopus在虚幻引擎中创建了所有的特殊和灯光效果，使用实时光线追踪和Sequencer(引擎内置的多音轨编辑器)中的时间轴工具，在编辑歌曲的不同部分时跳跃。通过使用Pixel Streaming, Magnopus能够克服对艺术家的硬件限制。像素流可以让你在云端的服务器上运行虚幻引擎应用程序，并将其流到任何设备上的任何浏览器，就像YouTube视频一样。