将Xsens动作捕捉融入混合现实，创造不一样的沉浸式体验！

将Xsens动作捕捉融入混合现实，创造不一样的沉浸式体验！

动作捕捉能够实现将真实的人体动作完美的复制到虚拟形象上，通过将Xsens精确的动作捕捉技术与混合技术相结合，能够让虚拟角色拥有真实的动作表现。通过这种技术，能够实现创建各种虚拟现实音乐会、表演等为观众带来不一样的沉浸式观看体验。

摇滚乐队21 Pilots

21 Pilots’乐队曾在格莱美、温布利竞技场和雷丁音乐节上进行过演出，但他们从未经历过3500万观众同时在Roblox中观看他们的虚拟音乐会。在当下媒体和科技行业试图寻找他们自己的元宇宙时，Roblox的数字世界为他们提供了一个窗口，让人们了解音乐会体验在互联网的下一个阶段将会发展成何等形态。

乐队在表演时身穿MVN Link套装，并佩戴Manus的Xsens手套来确保手部动作的精准捕捉。

Actor Capture的技术总监詹姆斯·马丁指出Xsens的动作捕捉技术在加强21 Pilots’虚拟演唱会的表现力方面至关重要。

在真实舞台上虚拟机器人与真人共舞，将会带来什么样的视觉冲击呢？下面让我们来看看吧。

为了实现这一创意，节目组找到了专业的特效工作室Unlimited Motion为舞团打造了虚拟金属机器人舞者，团队运用虚幻引擎的即时渲染技术与Xsens MVN动作捕捉系统，对动作演员进行即时且逼真的舞蹈动作录制。在节目中伴随着Kraftwerk和Yazoo的舞曲，虚拟舞者与真实舞者一起为观众带了令人惊叹的劲歌热舞表演。

驱动的《舞动奇迹》成功的关键因素之一是Xsens动捕套装的使用。舞者们使用的Xsens Link套装能够适应舞厅舞台等特殊环境。“Xsens套装具有抗磁干扰能力。舞台地板上有wi-fi信号干扰，舞台装饰品中有金属干扰，因此舞台环境并不是一个理想的无干扰的环境。我在使用以前的动捕套装时发现，清理数据比做创造性工作花费的时间还要多，这就有些本末倒置了。我起初选择使用Xsens的主要原因之一就是其能够采集到足够清晰干净的数据，这帮助我们节省了大量清理无用数据的时间。”Unlimited Motion的总监Ryan Garry说道。

《舞动奇迹》是一个有着特定模式的成熟节目，但节目组一直在寻找新的方法进行创新。2020 年，该节目渴望突破创意界限和新冠疫情的限制，于是通过合作伙伴Potion Pictures将AR技术引入节目中。在过去和Potion Pictures的合作中，曾使用两个Mo-Sys动作跟踪摄像机将虚拟人物显示在舞者身后的大屏幕上。而这一次，他们想尝试新的元素——动作捕捉技术。

吸引观众观看节目一个主要原因是现场表演的不可预测性，以及每集节目截然不同的主题。对于制作团队来说，这就意味着在节目中制作过程中几乎没有实验的空间，这就是上面提到的加里和Unlimited Motion团队起初在向制片人传达动作捕捉技术的能力时遇到的问题。

“舞者们使用Xsens Link套装并不会影响其舞蹈动作，因为Xsens Link套装类似于穿着戏服进行表演，加上它相对贴合身体，所以舞者们可以很舒适的穿着动捕套装进行各种舞蹈动作。”。由于布景导演和舞蹈编导以前没有使用过这项全新的技术，所以加里和Potion Picture的工作人员需要向导演解释动作捕捉的每一个步骤，“你可以将Xsens Link套装用于任何类型的动作捕捉之中，不一定是特定的舞蹈。以前我们会被限制只能在AR中表演舞蹈，但动作捕捉技术让我们不再局限于这种形式，这为我们提供了足够的灵活性。”Garry说道。

由于布景导演和舞蹈编导以前从没使用这类技术，所以特效团队需要向导演解释动作捕捉的每一个步骤，“你可以将MVN Link套装用于任何类型的动作捕捉之中，不一定是特定的舞蹈。以前我们会被限制只能在AR中表演舞蹈，但动作捕捉技术让我们不再局限于这种形式，这为我们提供了足够的灵活性。” Garry说道。

动捕技术对于电视行业内大部分人来说仍是一个新事物，虽然表演者们很快接受了这项技术，但是导演们的思维模式仍然需要转变。

“目前我们遇到的问题是如何实时观看舞蹈排演的问题。我认为导演们必须克服这个事实，即他们在预览窗口上看到的并不一定是在，之后交付中看到的，因为导演们习惯于在们面前的舞池中看到现场直播的舞蹈，”加里解释道。“他们担心预演中出现的任何问题都会反映在，之后的表演中，但我们不得不向他们解释到，我们可以在之后解决这些问题。其实一旦他们明白了这一点，他们就会热衷于使用这项技术。”Garry说道。

在metallic robots表演获得前所未有的成功后Unlimited Motion决定继续与Potion Picture合作，并使用同样的方法创建新项目《跳舞的企鹅圣诞特辑》。

Xsens动捕技术实时虚拟制片

Anomalyst是一家多媒体公司，主要为现场活动制作内容。在过去的两年里，新冠肺炎疫情限制了现场活动的举办。为了解决这个问题，Anomalyst Studio不得不改变工作重心。“我们不得不转向虚拟生产。我们从绿屏解决方案、虚拟背景开始，尝试使用虚幻引擎和其他游戏引擎来创建内容。”Anomalyst Studio的创始人Ben Kee说道。

在2021年全球电子竞技运动会（Global Esports Games 2021）上创作ShiGGa Shay的混合现实表演时，工作室开始思考如何将表演融合在一起。（2021年，全球范围内的电子竞技观众达到4.74亿人，预计到2024年将达到5.77亿人。）

在表演中，说唱歌手ShiGGa Shay 穿着Xsens套装在虚拟场景中为观众带来了一场炫酷的表演。这场表演因其独特的形式吸引了大量的关注。对于Anomalyst来说，围绕该活动产生的大量关注度已经证实了Xsens动捕技术与混合现实相结合的力量。

说唱歌手ShiGGa Shay

抖音国际版（TikTok）红人Michael Le

TikTok红人Michael Le（约五千五百万粉丝）近期分享了一个他与自己的虚拟形象共舞的视频，引起了极大热度。目前为止已获得超过8万的点赞数。据悉该虚拟形象Michael使用Xsens动捕套装的录制功能制作而成的。

有效降低制作成本

相比于手工制作CG动画的耗时耗力，动作捕捉技术能以高出几百倍甚至几千倍的制作效率去实现逼真的动画制作，这是动作捕捉技术在大幅度提升三维制作的生产效率和产品质量时所具有的先天优势。

在虚拟角色动画的制作过程中，角色的动作要符合运动规律，走路、跑步、说话时的口型以及各种表情都需要尽可能的做到与真人相似，为了达到这样的效果动画师往往需要仔细推敲和研究各种动作的运动规律。而动作捕捉可以将动画师从繁重的调帧工作中解脱出来，让他们更加专注于对角色自身的创作。

相比于传统表演，在全新的元宇宙世界中，观众能够通过虚拟现实头显参与各种大型演出活动，并与表演者进行互动。应用了动捕技术的混合现实表演能够将表演者的一举一动完美的映射到观众的显示器或头显中，这无疑能够为观众带来更加沉浸的观看体验。我们相信这种全新表演形式将更加能够激发观众们观看演出的热情。