Meta提交的一项新专利展示了可以为视频游戏和VR应用带来更逼真的嘴部同步和面部动画的技术。这些更真实的面部动作可以创建NPC，并为玩家的化身提供更真实和沉浸式的体验，包括在VR游戏中。

这项专利详细介绍了将用户的语音转换为逼真的嘴部同步和面部动画的各种方法，以便开发者可以灵活选择使用这一系统的方式。专利中概述的一种方法涉及使用多个人阅读50个不同语音平衡句子的音频和视频记录数据集，系统跟踪他们阅读每个句子时的面部表情。通过跟踪个人在阅读每一句话时的面部和嘴部如何移动，系统可以提取和混合这些动作，使角色的动画更加逼真，甚至包括眨眼和眉毛等细微的动作。

除了能够基于现有数据集生成面部动画和嘴部同步，这项专利还描述了该系统如何使用集成到VR头戴设备中的摄像头来做同样的事情。该功能允许VR用户拥有能够准确模仿其面部表情的头像，从而在多人游戏和《VRchat》等社交VR体验中获得更真实的沉浸式体验。