850

AMD大神撕技术:VR还有这些坑没填![附报告]

小智头条 智能内参 虚拟现实2016/06/04

未来的VR要实现知觉融合,实时互动,技术上还有相当一段路要走。

智东西(公众号:zhidxcom)
编 | 小智

你是否感到从时下最火的VR当中窥探到了未来科技的影子?其实当前的VR技术还有相当多的不足需要开发者们共同去推进。

VR还有哪些技术的发展有所欠缺?未来的VR体验和使用场景究竟是什么样子的?VR产业还有哪些你没想到的商业模式?当前最大的技术挑战是什么?这些你想知道的问题,报告作者AMD的工程师Allen Rush都试着从自身的角度做出了解答。

报告全文可以在智东西(公众号:zhidxcom)回复关键词“未来VR”进行下载。

0001

0002

VR主要的体验通过光学和显示技术实现,沉浸感的营造通过控制本地视觉和位置信息来实现。参数包括了分辨率,光学调制,朝向,帧率和动态范围等。

到2016年,VR用户达到200万,开发者有20万。共有超过260家创业公司进入VR行业,业内关键玩家则包括了Oculus,索尼,微软,谷歌,三星,HTC等。

0003

VR应用的场景很广泛,比如教育,医疗,可视化大数据, 模拟训练,远程互动,虚拟社交,游戏娱乐等。

0004

视觉技术演进的路线从基础的2D渲染,3D渲染, 着色单元,沉浸式2D显示,物理基础渲染走到今天来到了虚拟现实的发展水平,未来还会发展VR中的照相写实主义,最终实现全景呈现。当然也可以认为,当前的技术发展水平使我们暂时只能看到这么远。

0005

视窗显示和人眼视场显示两种呈现方式在原理上的差异在于,考虑到人的视场,就需要在VR设备上配备摄像头,其拍摄内容补齐了人眼观察到的真实世界环境数据,然后就能通过视频合成器向显示器输出人眼视场的VR图像。

0006

从动作捕捉到形成画面,这其中所产生的延迟主要来自输入,USB转换,游戏引擎,CPU设置,以及框架方面的GPU渲染,传输框架缓冲,像素转换到图像显示等功能和进程。

0007

VR技术应用到的机器视觉技术体现在四个层面:

基本信息模块:眼球追踪反馈,位置信息(包括静态的位置,动态的移动方向以及倾斜,旋转,俯仰等九个自由度的信息),肢端探测器(手,脚等等)。

基础功能:红外追踪,位置追踪及校准。

复合应用:需要对用户的眼球追踪进行深度学习,以理解其表达含义并进行动作预测。

知觉融合:视觉拼接,触觉,动态环境模型加速器。

0008

VR技术正在进行快速的进化和发展,但是还有很长的路要走。

神经系统科学家 Maria V. Sanchez-Vives和计算机科学家Mel Slater这样写过:“对一个可与真人互动的虚拟人物进行渲染,比如通过语言识别,生成有意义的语句,面部表情,情绪,肤色,语调以及肌肉关节的活动,这样的效果目前实时的计算机图形学和人工智能的能力还达不到。”

需要改进的关键参数包括:延迟,分辨率,视场,色彩,动态范围和焦点管理。

需要补充的关键功能包括:眼球追踪,环境视觉捕捉,精确定位,物体探测追踪以及3D视场角。

需要改进的关键功能包括:运动与反馈,光学系统,眼球追踪和沉浸感俘获等附加功能的发展方向是成为VR平台的自有构成功能。

新兴的VR/CV社区会逐渐生长出更生态化的东西,比如SDK,应用开发,用户社群,度量工具以及更多的测评等等。

0009

举例而言,Leap Motion的“虚拟手” 最开始的做法就是通过视像投影与视觉反馈实现的动作交互。接下来需要补足的就是复杂化的渲染,识别,景深和追踪等性能。

0010

VR的应用空间比较多样化,具有创新性。

APP开发者可以从军事,医疗,游戏,电影,社交,教育,甚至沉浸式工作环境等领域寻找需求。

VR内容需要的技术创新则包括了CGI,摄像机以及视频拼接。

0011

进击的VR是否超出你的想象?

更进一步的发展可以从基础创新中延展出更加亮眼的体验。

比如通过沉浸式的远程成像技术,你可以体验一下虚拟会议是什么样子的。实现这样的功能需要眼球追踪,面部重建和表情投影等技术。

只有改善沉浸和感觉的营造问题,才能让用户从观看变成体验。

0012

一旦VR的群众基础打好了,就会生发出一大波的创新的APP,功能,创意等等。

0013

原有的问题可以通过新的技术解决,比如传感器,探测器和覆盖的同步问题;又比如Liquid VR可以使用多个GPU分离并优化工作量,通过算法改进兼容性或延迟问题;再又如,通过漏斗化渲染技术,可以让计算机重点处理用户眼睛所关注的画面,这个范围大约在视线中心的10%~20%范围,结合眼球追踪技术并能实现快速响应的话,可以大大降低当前图形处理技术在计算能力上的负担。

同时也可以开发新型工具,比如视频拼接,工作流管理,混合机器视觉探测,识别,学习,追踪和标记等等功能。

0014

最终要实现将视觉,听觉,触觉,方向,位置等各种感官进行知觉整合与全景呈现。

而目前在技术上还需要对各种感官参数进行量化,提升CPU,GPU以及加速器。

0015

商业模式和产业生态

0016

产业生态

从技术的角度来看,VR产业还有很多生态体系并不成熟,也不健全。

内容开发:游戏开发,3D游戏向VR游戏转化,VR摄影机,360度全景捕捉,重订格式,图形渲染,VR显示投影等;

UI方面:寻找鼠标键盘的替代方案;

捕捉内容与图像内容的合成;

机器视觉覆盖:探测器,物体标记和追踪;

平台SDK:制定开发者标准,包括测试,度量,分布和支持;也需要对库,编译器,以及向新平台的移植进行优化。

0017

商业模式

对于游戏商来讲,可以探讨其销售,租赁和服务器和伺服器存储等的相关商业模式。

而在硬件方面,除了主机型VR,一体机型VR,移动VR以外,还要考虑拍摄设备的研发,因为未来的VR也需要对环境信息进行捕捉。

嵌入式开发则需要考虑系统集成和服务。

0018

VR技术最大的挑战是什么?

0019

术和设计上的挑战——显示和图形

提升渲染和限时体验;

人眼视觉系统存在一定的限制:根据瑞利判据,人眼能分辨两点的极限距离是爱里斑的半径;

想要实现每秒90帧,就要达到每秒20G像素的渲染速度;

还需要更好的光学系统和镜头阴影矫正以及提高渲染复杂性等;

0020

术挑战——摄像头和机器视觉

举例而言,VR技术的一大关键就是需要对手和眼球进行追踪。这其中就涉及到细节捕捉,帧速率,位置追踪以及预测。相关的技术在文献《Deep learning to customize and train》有介绍。

0021

挑战——生态和商业环境

内容开发:内容主题,故事,360度/180度全景,声音表现……

分发:内容的标准格式,如何有效的进行传送;

内容创新需要如何进行测试,评估以及使用反馈;

当然,最重要的是,这一波VR兴起,谁能赚到钱呢?

0022

总结

VR是一个兴起的产业!

它得益于技术局限的突破,发展于性价比最优的解决办法,将会成熟于更优异的体验。

CV(机器视觉)加速了各种类型的应用的兴起。

使用其公共属性可以发展为探测器,追踪器等;

使用其特有属性,如精确性和多样性,可以应用于医疗和游戏等行业。

生态的构建需要SDK,用户社群,内容创作,评测评论。

商业模式就需要从娱乐,效率,功能化等应用场景中寻找新的需求。

0023

下面是参考文献,有兴趣可以找来看一看。

0024

事实上,尽管环境一直在说VR风口已过,但是对于应经入局的玩家而言,相当多的参数和性能需要你们锲而不舍的搞上去,而更优化的性价比方案需要你们搞下来。

同时对于内容创作者而言,除了技术上可以实现游戏或影视内容本身的无脑转化以外,需要更多关注的是创作适合VR体验的作品。

与此同时,在这个行业当中的参与者并不是只有公司和制作团队,智东西作为媒体是观察者,我们的读者有些是从业者,有些是期待VR的用户。非常幸运的,我们能在这个行业发展共同聚焦在这一点,而媒体和用户的发声被本文的作者同样视为非常重要的声音,是构成整个VR行业的一部分。

本文为智东西整理呈现,文中所有数据结论版权归原作者所有。

重要的事情再说一遍,可以在智东西(公众号:zhidxcom)回复关键词“未来VR”下载报告全文。

 


 

智能内参

权威数据·专业解读 读懂智能行业必看的报告

在智东西回复“智能内参”查看全部报告

zhidx201602