还在谈HoloLens?来看看微软最新的全息传动HoloPortation!

智东西(公众号:zhidxcom)
文 | 海中天

微软的研究者开发了一些新玩意,它可以将《星球大战》R2-D2机器人的一些卓越技能带到到我们的日常生活中。这个技能叫作“全息传送(Holoportation)”,它可以永远改变我们远距离沟通的方式。微软提供一段演示视频介绍新技术。

据项目主管Shahram Izadi透露,最开始他们只是想缓解思乡病。Shahram Izadi的剑桥(英国)团队专注于用3D传感器技术、机器学习来解决下一代计算问题,花了两年半时间,团队才和华盛顿Redmond 的HoloLens团队融为一体。Izadi已为人父,视频中出现的女孩是他的女儿,当挑战下一站的机会到来时,他转向了“沟通”——沟通可以大大改变个人生活和专业生活。

“我有两个小孩,我真心觉得我们无法用喜欢的方式有效沟通。” Izadi说,“像视频会议、电话这样的工具对小孩没有吸引力,它和面对面的沟通不一样。”

还在谈HoloLens?来看看微软最新的全息传动HoloPortation!

正因如此,团队才开发了类似“全息传送”的东西,它将活灵活现的人物全息图像投射到另一个房间,这个房间的人可以与实时图像中的人物互动,好像他们真的在那里一样。通过这样的方式,技术实际上超越了《星球大战》中的全息图像,《星球大战》将预先录制的信息以全息形式播放。“全息传送”也能做到,但是它的真正魔力在于可以传输实况全息图。

我可以带你去那里

“全息传送”系统首先从高质量3D摄像头开始,它被安置在特定的空间里。你可以将它们视为增强版的Kinect摄像头。“Kinect的设计初衷是追踪人物的骨架。” Izadi说,“我们的设计可以追踪人物身体的高质量细节,可以重建每一个特征。正因如此,我们必须重新思考3D传感器。”

当摄像头抓取到了每一个可能的视角图像,定制软件会将图像合成完全成型的3D模型。Izadi说整个过程会持续进行,因为数据框架越多模型质量越高。当数据不断累积就可以形成栩栩如生的全息图,哪里安装了接收系统(比如HoloLens),图像就可以传输到那里。转化的速度相当快。

Izadi还说:“我们希望能在很短的时间窗口完成所有处理过程,大约只要33毫秒就可以处理完所有摄像头收集的数据,大体来说是这样的;它还可以创造一个时空模型,然后以串流的形式传输数据。” Izadi的团队利用Nvidia GPU来抓取数据,这些显卡全是高端显卡,它们会组成“军队”执行任务。

等等,你是不是说必须瞬间传输大量的数据?没错。Izadi指出,“全息传送”处理过程会产生海量的数据,不单如此,许多流视频编解码器也对3D图像不太友好。数据必须压缩,在Izadi的项目中需要将GB数据压缩成MB,要实现“全息传送”这一步很重要。

让世界匹配

要让“全息传送”广泛应用于日常生活,还有一些障碍需要跨越。

观看演示视频你可能会发现,在两个房间中微软使用了一样的家具,因为两个房间的家具是重叠的,交互会流畅许多,当人走过桌子时也会流畅许多。其实还有一个更直接的解决方案:训练摄像头,让它只对焦你想“传送”的目标,而不是整个房间。

“用户可能会做出决定:不复制任何家具。”Izadi说,“我们通过对背景进行分割来满足要求,当你抓取放置家具的房间时,它只会捕捉进入房间的近景目标并将它转化成流视频。”你可以对家具的各部分进行战略性组合,让两个房间更匹配。

举个例子,让祖父母两个人坐在自己的沙发上,然后对他们进行“全息传送”,让二人共度圣诞的早晨。不需要让他们漂浮在空中相遇,只需要调整他们坐着的全息图——坐在各自客厅沙发上的全息图——就行了。

还在谈HoloLens?来看看微软最新的全息传动HoloPortation!

就目前来说,Izadi团队深知潜在的空间问题很难解决,但是他们仍然认为这是一个机会,Izadi认为项目可以最终变成消费设备。我们现在已经有了专用家庭影院,为什么不会出现专用家庭“全息传送”房间?

“项目的终极目标和愿景就是精炼系统,让它变得像家庭影院系统一样简单。” Izadi表示,“你走进房间,那里安装了许多类似扬声器一样的单元,组装的方式恰如营造环绕声一样,只是它给你带来的是环绕视觉。”

要达成目标还很遥远,可能还需要好几年,Izadi预计我们将会看到“全息传送”装备出现在会议室内。尽管设备昂贵(需要很多的摄像头、GPU),但是Izadi提醒我们注意一年的全球商务旅行开支高达1万亿美元。

是不是很有趣?尽管Izadi的团队和HoloLens密切合作,但是他们的系统并不偏爱强大的硬件。在信息的接收端,你只需要一台VR或者AR头盔就行了。

“对于所谓的‘观看器’技术,我们还有很多不清楚的地方。” Izadi说,“很显然,HoloLens的使用场景有一些独特之处,我们会尽可能利用更多的显示技术来发挥系统的优势。”

还在谈HoloLens?来看看微软最新的全息传动HoloPortation!