2020年,电商火爆,到了“万物皆可卖,人人皆可播”的时代,其中真人直播界明星、名人、企业家等纷纷下场,如百度CEO李彦宏、初代网红罗永浩、格力电器董事长董明珠在各自优势领域开展直播,使得这个行业更为去中心化的同时,也将带来整个行业更为激烈的竞争以及竞争格局的变化。
直播界中的另一为新人-虚拟偶像,知名二次元偶像洛天依与李佳琪合作、洛天依与5位虚拟歌姬直播带货、乐正绫、齐麟、灵狐姐、小鹏P7发布会上的虚拟偶像小P贯穿正常云上虚拟发布会等,她们的加入使得电商行业更加充满无限未知性。
图示:小鹏汽车发布会主持人虚拟偶像小P,洛天依与李佳琪直播间同框
从2016年开始,虚拟偶像已经开始试水网络直播,与观众们进行实时交流互动。而虚拟演播跟虚拟直播又有哪些呢?而想要保证良好的直播效果,专业的动作捕捉设备、面部表情操作等系统是必备的技术支撑。
那我们就以小鹏汽车P7云端虚拟发布会中二次元偶像小P来进行分析一下,怎么让虚拟直播实时互动、动作流畅、应答自如的呢?
1、 光学动捕
1.1身体动作捕捉
在网络直播中,主要用到的是惯性动捕和光学动捕,而二次元偶像小P运用的是上海青瞳视觉的光学动作捕捉系统,主要光学系统捕捉精度高,捕捉的灵活性高,扩展性强、兼容性高等特点,惯性动捕受限于精准度低,动作幅度不能过多过大,且存在动捕位移误差,影响主持人与虚拟角色的交互。
其中小P所用的是上海青瞳视觉光学动作捕捉系统:
硬件有:主要包含光学动捕摄像头,MC4000,是青瞳视觉2019年最新推出的相机摄像头系列里面最远捕捉距离,极致的空间覆盖能力,全面兼容等优点。当然硬件方面还有一些其他的配件,如云台,大力夹等配件。
软件有:动作捕捉实时软件/动作捕捉后处理软件CMTracker,在直播中,优点明显,具有智能修复功能;全身动捕数据可实时驱动Unity3D、UE4、Motion Builder 等软件中的3D人物模型; 可以支持单人或双人的在线/离线数据分析;等多方面优点。
1.2 手指动作捕捉
青瞳视觉研发的光学手指动作捕捉:在每只手上做了3-5点的点位模板,应对不同级别的捕捉需要。只要是在光学动捕的有效捕捉区域内,手部活动不受限,而且更加精准。在匹配角色上,可以在软件中导入模型、预览模型的手指捕捉动画等。
1.3 面部捕捉,应用的是Apple face cap软件,是通过iphoneX及以上版本的手机摄像头捕捉,基本能满足虚拟主播做直播的要求。
此次小鹏P7发布会中虚拟偶像小P,作为正常将近24小时超长长长的虚实直播主持人,是贯穿全场的灵魂人物,需要与嘉宾互动,需要有舞蹈动作等表演,这都是由一位表演者在后台穿上动作捕捉服装,带上头盔,进行实时互动所呈现出来的效果。
当然还有配音具体效果请看一下视频:
案例:华为虚拟偶像直播图片
用光学动作捕捉系统来达到完美的真人与虚拟人物之间的连接,真人表演者的肢体动作,面部表情,手部动作等一一精准,低延迟的还原展现在虚拟主播上。与真人主播相比,虚拟主播最大的特点就是人设不太容易崩塌,加上虚拟偶像作为虚拟人物,是不会产生疲惫,也不会因高强度工作而累倒的,这在一定程度上保证了工作效率及频率,也意味着能产生更大的商业价值。
4月21日虚拟歌手洛天依现身李佳琦直播间,结果在唱歌表演时完全没声音,令人尴尬的是李佳琦仍在一旁夸赞“好好听”;5月1日“云端动漫嘉年华”,虚拟偶像洛天依和乐正绫开启直播带货,直播带货中偶尔的“翻车”情况不仅仅会出现在真人主播身上,虚拟偶像也会有卡壳事件发生。所以应该选择有资质的解决方案提供商,提供专业的技术支持、团队服务等,相信在技术的不断成熟下,让目前还处于发展期的虚拟偶像产业,持续产生商业价值的同时,放大虚拟偶像直播带货的优势。