智东西（公众号：zhidxcom）
编 | 王小溪

导语：Facebook在F8开发者大会上展示的人体追踪技术可以只使用单个外部的传感器就精准捕获人体的全身动作，该公司打算将此技术与Codec Avatars技术结合在一起使用。

智东西5月6日消息，据外媒报道，在2019年F8的第2天，Facebook展示了一项人体追踪技术，只使用单个外部的传感器就精准捕获人体的全身动作。该公司打算将这项技术与3月份展示的Codec Avatars技术一起使用。

如何让相隔两地的人在交流的时候感觉彼此近在眼前？Facebook Reality Labs（FRL）匹兹堡团队的Codec Avatars技术提供了一种解决方案。Codec Avatars技术借助突破性的3D捕获技术和人工智能系统，可以帮助人们快速轻松地创建逼真的虚拟化身。

Codec Avatars技术要是能和人体追踪技术相结合，Codec Avatars捕获人体动作细节时将更方便。

一、Facebook人体追踪技术将与Codec Avatars相结合

在很多交互场景中，机器需要通过识别人体位置的移动去实时追踪活动中的人体。

目前可以提供人体追踪服务的还有Vive Tracker。VIVE Tracker是VIVE VR系列产品的配件，它可以被绑在现实世界中的任意物体上，将现实中的物体带入VR环境，并对其进行追踪。

如果要对全身动作进行捕捉，需要在人的双脚、膝盖、腰部等多个关键部位绑上Tracker设备。需要在人体上绑多个设备，捕获的动作才会精确。但每个Vive Tracker跟踪器的售价为99美元，从成本上看这是难以让人承受的。此外，每当用户想要在VR中使用身体跟踪时，每个跟踪器都必须保持充电然后佩戴，并不方便。

而Facebook所展现的这种全身追踪技术，无需多个追踪器，只用单个外物传感器就能对人全身动作进行精准。

Facebook打算将这项技术与3月份展示的Codec Avatars技术一起使用。Avatar是人在VR中的虚拟化身，它不仅拥有和真人一样生动逼真的表情，还能像真人所想的那样运动。

二、Codec Avatars：用头显捕获人体细节，建立传神的虚拟化身

Facebook坚信增强现实和虚拟现实将成为未来五十年里我们工作，娱乐和联结的主要方式，就如同个人计算机和智能手机在过去四十五年里（并正继续）改变了世界一样。

Codec Avatars项目是FRL匹兹堡团队的一个重要研究项目，该项目旨在改变人们今后的交流方式，让分隔两地的人们在虚拟现实中自然而轻松的互动，就像面对面交流一样。借助突破性的3D捕获技术和人工智能系统，Codec Avatars可以帮助人们在未来快速轻松地创建逼真的虚拟化身。

这种不一样的交流方式体现在，相比于现在的视频通话等，Codec Avatars能给人们带来一种社交临场感。Facebook Reality Labs（FRL）匹兹堡团队的研究总监Yaser Sheikh用两种标准来衡量这种社交临场感：“自我测试”与“母亲测试”，简而言之，就是虚拟化身必须是自己喜欢的，当然，光自己喜欢还不行，它还必须要被亲妈所喜爱。

这就需要虚拟化身必须够传神，它的关键就是要捕捉人身体的细节，细节可以让化身栩栩如生，令朋友和家人瞬间识别出人的特质。但捕捉人体细节对于研究团队而言是一个艰巨的任务。

为应对这一挑战，FRL创建两个世界级的捕获工作室：一个用于面部，另一个则面向全身。两个工作室都搭载了数百个高分辨率摄像头，并以每秒1Gb的速度捕获数据。每一个系统都能很好地捕获人体的细节。

在匹兹堡实验室，Codec Avatars通过两个主要的功能来测量人类表达：编码器和解码器。首先，编码器通过头显摄像头和麦克风系统来捕捉用户的动作及位置。完成捕获后，编码器就会获取信息并整合一个唯一的代码，一个人体和环境状态的数字表示。接下来，解码器将所述代码转换为音频和视觉信号，而接收者则会看到发送者的生动虚拟化身。

这两个捕获工作室对FRL匹兹堡的努力非常重要，但它们庞大且不切实际。研究团队的目标是能够通过轻量级头显实现相同的捕获结果。为此，他们发明了一系列配备摄像头、加速度计、陀螺仪、磁力计和麦克风的头戴式捕获系统（Head Mounted Capture systems；HMCs），从而捕获完整的人类表达范围。当用户在虚拟环境中相互交谈时， HMCs能将虚拟化身动画化。

当然，构建HMCs并非易事。为了提高用户的体验，团队为HMCs选择了人眼看不到的红外线来捕获人的细节信息，这样就不会照亮用户的脸而让其不快。

三、Avatars捕获人体全身动作

今年3月，Facebook展现的虚拟化身avatars，已经非常像电影《头号玩家》（Ready Player One）中所描绘的那样了。Demo中显示，该公司可以在VR环境中创建人整个身体的虚拟版本，两位玩家带上VR头盔后可以直接来一场虚拟足球赛，他们的动作可以实时转化为游戏里的动作，而且并未产生任何延迟。

Facebook的Oculus VR公司的研究员主管Ronald Mallet当时说：“用极少的硬件去捕获人体动作，而无需其他设备或者标记，这是开创性的举动。”

当时演示的技术是Facebook “Codec Avatars”技术的扩展，该技术已经可以创建人物脸部的虚拟化身。它通过使VR头盔上的传感器来测量佩戴者的面部表情，然后将数据实时转换为脸部avatar。

然而，Facebook希望VR环境中不仅只有人的面部表情，正如Mallet所说：“人们之间真正的交流还需要全身肢体语言。”所以为了让技术捕捉到人体全身动作，Facebook一直在研究用一个外部传感器来记录佩戴者的身体姿势，然后将捕获的数据映射到由虚拟骨骼和肌肉构建的化身上。

现在看来，如果真能像Facebook所打算的那样，将他们研究的人体追踪技术和Codec Avatars技术一起使用，将能进一步促进对人全身动作的捕捉。

结语：Facebook人体追踪技术与Avatars技术结合将提高社交VR水平

Facebook的人体追踪技术无需多个追踪器，只用单个外部传感器就能实现对人体的全身动作的精准捕获，相比于现有的人体追踪方法，使用更方便、价格更实惠。

如果将这种无需标记的追踪技术与Codec Avatars技术相结合，将能进一步促进对人全身动作的捕捉，从而大大提高社交VR的水平。

文章来自：UploadVR、PCMag、Tech@facebook