Hazelight Studio使用Faceware制作游戏《双人成行》

近日，Faceware的客户、总部位于瑞典的Hazelight Studios接受了一次深入访谈，在访谈中他们深入探讨了其超新合作多人视频游戏《双人成行》中使用的面部动画和mocap方法。值得一提的是《双人成行》斩获了多项2021年度游戏奖项与提名，并成功在第25届DICE游戏奖中获得2021年较佳游戏大奖。《双人成行》由EA Originals出版。Hazelight团队之前曾将Faceware的技术用于其广受好评的双人协作游戏《逃出生天》。

从生产的角度来看《双人成行》，创作整个项目需要多长时间？有多少人在做这个项目？有多少艺术家和动画师参与到这个项目中吗？

在我们交付《逃出生天》的，之后一分钟，我们都始终全神贯注。之后我便开始了这个新项目《双人成行》。事实上，两个项目之间有一个非常短的重叠时期。我们预计这个新项目的开发周期大约是3年时间。开始时，工作室有大约40名员工，在项目期间我们的团队达到了75人左右的高峰。动画团队以相似的速度从4人增长到7人，在整个项目中，我们有2名技术动画师。环境艺术团队从5人发展到8人，另外我们还招募到了3名角色艺术家。

《双人成行》的艺术风格对面部捕捉有什么挑战吗？

《双人成行》由两种不同的艺术风格组成，其中大部分内容在幻想环境中，一些在更现实的世界环境中。在幻想世界中，我们通常试图从身体和面部两方面夸大动作，更加戏剧化。由于我们需要为过场动画制作大量的内容，给所有东西设定关键帧会花费太多时间,所以我们需要使用动作捕捉来制作游戏内容。在捕捉到的过场动画和大部分关键帧动画之间找到平衡是一个挑战。在幻想场景中，角色们会表现出许多不切实际的动作，即使是比较有经验的特技演员也不可能做到，所以我们不得不在动作捕捉中混入大量的关键帧。这也导致了我们在场景中需要混合多种类型的面部动画。

场景的中角色面部动作的大部分将具有来自面部动作捕捉，而一些其他部分如引子或结尾将来自ADR（自动对话替换）录制或FaceFX，当然这些功能通常还用于解决仅来自音频的面部动画。要系统地跟踪哪种脸型，之后以何种方式表现，以确保动画能够与音频同步，这是一个我们需要面临的挑战。

《双人成行》与《逃出生天》风格差异明显。在面部捕捉过程中，你们遇到过什么挑战？

虽然我们对工具进行了一些更新，以增强使用面部动画的体验，但底层技术并没有太大变化。我们基于在节点上运行的FACS（面部动作编码系统）来制作一组预定义姿势的动画，这与使用blendshapes非常相似，但优化的更好。我们可以把这个系统用于所有《双人成行》的角色，除了书人哈基姆。因为哈基姆的脸在角色的肚子上，所以那里有很多其他的变形，如果我们在节点上额外增加一些脸的变形，这将会发生冲突。我们设法解决这个问题，将他的大部分面部造型改为混合形状。

你们想让角色的脸部动画达到何种效果？，之后达到预期了吗？

《双人成行》是一个以叙事为重点的游戏，传达角色在故事中的情感对我们来说非常重要，这样作为一个玩家可以在故事展开时与角色建立并发展联系。面部动画显然在表达这种情绪方面发挥了重要作用，在我们团队所有部门的共同努力下，我认为我们成功实现了我们的目标。

能谈谈你们的面部动画管道吗，例如项目制作过程的每个阶段，你们使用了哪些Faceware产品？

我们的目标是，尽可能多地捕捉每一个演员并将他们的声音与动作同时用于角色创建。我们通过Faceware的专用软件应用程序进行记录，该应用程序能够处理并组合身体、音频和面部动作，这些依次通过时间码链接在一起。与Faceware的Mark lll头戴摄像头捆绑在一起的Aja Ki Pro面部记录仪非常适合这个管道，因为它可以完全由代码控制。

基于所选择的捕获时间范围，并通过使用Analyzer python SDK生成经过剪辑的面部视频和Faceware Analyzer工作文件。尽管Analyzer在初始跟踪方面做得很好，但仍然需要我们做一些手动跟踪工作。

跟踪完成后，所有文件都将通过Faceware Retargeter（它也附带了python API）进行批处理，并单独输出。仅包含面部动画的每个面部视频的fbx文件。我们只在为每个角色到角色的关系定义重定目标模型时使用重定目标接口。

面部动画之后被注入到我们的Motionbuilder场景中，其中任何潜在的时间变化都已被缓存，并将自动得到补偿以进行同步。我们会在Motionbuilder中润色面部动画，一旦为场景锁定了摄像机，我们就开始润色，这样我们就知道应该在哪里进行修改了。

当我们录制动作捕捉时，无需演员在现场为角色配音，或者在场景设定关键帧，我们仅需使用ADR。配音演员之后在已经存在的身体动作之上提供声音和面部表演即可。在录制面部视频后，它会经历与上面提到的非常相似的过程，但稍微复杂一些。ADR通常需要录制一些不同的声音，并需要重新计时以匹配现有的面部动作。保持同步是一个挑战。

Faceware的软件和硬件是如何帮助你们实现目标的？

从Hazelight诞生的第一天起，我就一直雄心勃勃地想超大限度地实现自动化，而不是尽可能增加更多的人来处理问题或多余的任务。这是我喜欢Faceware的一点：它附带了一个API，使我们能够做到这一点，并将整个过程保持在内部。

能和我们分享一些关于面部动画制作过程的轶事吗？

为主要角色之一科迪进行动作捕捉和配音的Joseph Balderrama，也同时为角色哈基姆配音。从制作的角度来看，理想情况下，我们会为哈基姆找到一个独特的演员，使我们能够捕捉哈基姆的表演，但事实并非如此。这增加了后续ADR中这些场景的复杂性。捕捉一本书可能听起来很奇怪，但它的效果出乎意料地好！作为一个精力充沛的角色，哈基姆对ADR来说是一个挑战，但Joseph完成得很好。通过使用Faceware Retargeter，可以创建多个预设，以确定面部应该如何将演员重定目标到任何角色，这样，我们可以很好地为幻想世界的科迪、现实世界科迪和哈基姆重定面部目标。

从《逃出生天》到《双人成行》，你们使用了不同的Faceware硬件。你能告诉我们这些变化以及它们对生产过程的帮助吗？特别是Mark III头戴式摄像机是如何让面部动画制作过程变得更简单或更好的？使用独立摄像头和Mark III有显著区别吗？

在《逃出生天》的开发过程中，我们没有做任何表演捕捉。相反，我们后来严重依赖ADR记录。我们用更独立的方式捕捉ADR，使用连接SyncBac Pro模块的GoPro摄像机在视频中嵌入时间码。为了通过编辑保持同步，我们有一个类似的管道，如上所述。由于我们没有使用表演捕捉，只有一个面部捕捉源，所以管道会更简单一些。

在《双人成行》的开发过程中，我们建立了自己的内部动作捕捉工作室，因此升级我们的面部捕捉硬件是一个明显的步骤。我有机会评估了几个Faceware的Mark III摄像头，很快就觉得它们可以完成我为《双人成行》设置的新标准。

Mark III为我们提供了将面部捕捉整合到管道中的更大潜力，以及更舒适的头盔佩戴体验。面部记录仪的实时预览效果也要好得多。我认为使用Faceware的一大优势在于，整个系统中有相当多的组件是行业标准设备。在连续几天的录制过程中，对硬件和软件我们都很放心。虽然我们从来没有遇到过硬件问题，但我知道除了相机本身，大多数可能损坏的东西都可以很快买到并进行更换。我认为Faceware和Mark lll的设置已经找到了一个很好的平衡，我们信任这个系统，这让我们能够把注意力更多地放在重要的表演效果上。