智东西(公众号:zhidxcom)
文 | 小智

虚实无界,创新无限。

4月16日,由智能行业第一媒体智东西及全球酷玩试用导购平台极果共同主办的2016中国(北京)VR/AR产业峰会在北京新云南皇冠假日酒店揭开大幕。在这场千人行业盛会上,来自政府主管部门、学术界和产业链各方超过40余位大佬登台演讲交锋,直击VR/AR产业痛点,分享了最前沿的实践、思考和判断。

在下午的演讲环节中,英伟达亚太GPU产品总监林耀南发表了名为“一沙一世界一花一天堂 化虚拟为现实之术”的主题演讲,解密图形处理在VR时代的核心技术和解决方案。

英伟达林耀南:做起VR大生态 技术的力量将引燃行业

以下为林耀南演讲的要点精摘:

1.虚拟现实技术影响体验最重要的一个问题就是眩晕感,因其对延迟极为敏感。头盔延迟为11 ms,而摆头到重新显示,全部延迟加起来要小于20 ms。

2.在响应速度快的同时,还要还原图像的真实度。在解决这些问题时,英伟达针对VR游戏开发者与头盔开发者制作的SDK包括:

针对游戏开发者的MULTIRES SHADING,用新的方法提高VR渲染性能;VR SLI,通过多个GPU来提升性能;

针对头盔开发者的CONTEXT PRIORITY,通过异步Time warp使头部运动反馈的延迟最小化;DIRECT MODE,使GPU与头戴式可视设备间具有良好的即插即用兼容性;FRONT BUFFER RENDERING,通过直接对前缓冲渲染来减少延迟。

3.英伟达认为VR平台的建立应该将三个层级分开,即

消费级,如VR游戏和娱乐PC,涉及到全景视频的捕获;

专业级,如VR工作站和体验馆,涉及到全景视频捕获和流化;

移动级,如移动VR头戴设备,涉及到嵌入式视频捕获和流化。

4.技术如何帮助构建VR生态系统?当然是需要解决其中最具体最根本的技术问题。每一个环节面临的问题是:

头盔设备:降低延迟, 提升解析度与刷新率;

平台和应用商店:即载即用的驱动相容性;

游戏引擎:华丽的特效, 更高的帧速率;

信息的输入和捕捉:低延迟, 机器视觉,深度学习;

拍摄和直播:转码加速,360°视频拼接;

在这样的平台上,应用开发者才能发挥出最大的创造力。

5.在AR方面,图形图像非常丰富,而画面与现实环境的融合对机器视觉提出的要求,决定了GPU性能必须持续发展。

以下为林耀南在2016中国(北京)VR/AR产业峰会上的演讲全文:

我先问大家一个问题,交女朋友最重要的问题是什么?

回答:漂亮。

林耀南:漂亮是第一印象。

交女朋友最重要的事情第除了第一印象还有第一次约会。女孩交男朋友最重要是第一印象,第一次体验很重要,第一次印象搞砸了,这个产业就不要玩了,因为工作关系我很早期接触VR/AR的设计,开始玩它。

我可以看到很多很棒的设计,很棒的VR体验,但有时候会遇到比较差的VR体验,比较差的VR体验怎么来?因为不够快。到底要多快呢?VR体验从头到尾要20个minisecond,显卡到摆头只有9个mini秒,天下武功为快不破,所以快非常重要。

快之外还有一点就是知识,我们要讲虚拟现实,虚拟现实不是讲虚拟,重点在现实。所以怎么样兼具那个快还要达到现实,这就是NVIDIA的专长。

今天听到很多VR体验全都是在这里头,这都是用NVIDIA的特异功能,这是攀登声母峰的DAMO,这是美国图形开发者大会Mars2030的VR,这也是用NVIDIA的技术。

还有星际迷航的光剑也是NVIDIA,NVIDIA已经用到游戏开发商以及硬件开发商这里。

这是五个特异功能,包括两个部分,左边是游戏开发者做的,右边三个是头盔开发者做的。

大家中午吃饭如果离开自己公司到外面吃饭回来最快要多少?有没有一小时的?我看到有点头,有没有半小时?没有人点头。有。也有半小时。如果说今天我要是出去吃饭,再回来老板跟我讲说,可不可以不要30分钟,我们 最近很忙,会不会觉得老板很过分,会,真的很过分。世界上有两种对,一个是道理对一个是老板对,VR世界里面眼睛告诉你,世界上最快的显卡、设备、眼镜,眼睛告诉你说,不行,我有点晕,是一样的道理。

我们吃饭先把菜点好,把车打好到那边吃,吃饭吃到一半,人只有两只手变成四只手,多余两只手剥橘子皮,这个特异功能做这些事,我尽量用非技术的方式来讲,我用5分钟说技术。

第一,MULTIRES SHADING,反扭曲,经过反扭曲看到很漂亮世界,NVIDIA发现有一些猫腻。这个东西在你的眼镜里面其实是没有完全成像,只成像一半,大部分的地方都是黑的,这些都没有成像,我为什么要画那么大?我画了150分最后显示100分,太浪费。你看这一角,最后显现出来七分之一不到。这就是浪费,所以NVIDIA的特异功能,切成9个部分,根据9个部分,中间形变最少采取100%的分辨率,剩下的开发商可以自己填,填完之后在没有减少你视觉的差异底下,你填上以后还是100%,没有一点浪费。

一个游戏被切成9个,同时跑9个游戏浪费时间,依序处理这9个在不同的时间点。NVIDIA在5年前,我们可以同时处理9个游戏完全不占用任何时间,一次过去。所以它是完全同步的。

我们就可以得到很好的补偿,原来你在中间看到东西是比较好的,你在旁边看到是比较差的,那我们都用最过的像素密度绘图,现在不用了,在边缘的地方下降,减少浪费。

既然可以做减少浪费就有更高端技术出来。我抓到了,你现在比原来只还要差,作弊,这并不是。我们在3D,你看着我就看不到后面,今天更厉害的3D电影比 《阿凡达》还舒适,中间清楚,旁边再模糊一点。NVIDIA可以切成9个,让你游戏增加50%的效能。

第一个记录,目前最新记录有人打算试试看,12个小时之内没有做任何事就增加50%的效能,以前记录一个礼拜增加30%。

用了三天,把一个场景不小心增加100%的效能,50%的效能970当作980来用,300美金变成650美金。

第二个功能,就是VR SLI,它需要用CPU,确保两个眼睛看到同一点。

眼镜开发商、头盔开发商也会导入一些功能。大家有没有知道SKII有一个东西叫Petria,Context由于Petria,做VR眼镜,我画这里头跑到这边,头往右边看到这张,头往左边也看到这张,头就晕了。TMIEWARP,针对你要画的地方画一点,根据陀螺仪跑这边抓这一张,这样不会头晕。但是这要用掉一个Context,你的显卡不能画下一张图,一到90帧,没来,重复贴第一帧,我们装的两倍Petria的SKII给你。Context要有优先权,因为它马上要显示。

再来就是DIRECTMODE,什么样眼镜就要插显卡,不要跟微软讲,微软就不知道插的第二台应用进来,再此就不会有延伸桌面。

第五个功能,叫FRONT BUFFER,显卡把游戏的画面画在后面。我们刚刚讲,天下武功为快不破,头盔知道怎么拿的情况下,显卡直接把图放到前面口袋,同时我一拿出来的瞬间,屏幕就像拿了,我们就分析下去拿,都不会打结,这会快很多,这是非常跳脱在盒子之外的思考,才能够减少很多的浪费。

五个非常棒的SDK,它被用在不只是GeForce还有专业绘图卡上面,还有Tegra。

VR的应用会被用在各个部分,这个地方我想大家知道。

NVIDIA的技术帮助整个架构技术系统,头盔设备降低延时提高分辨率和刷新率,游戏引擎跟引擎做华丽的特效,高的帧速率,应用开发还需要电脑视觉,还有深度学习。在直播这边要用到高速运算。

AR,未来非常看好,我也很看好,在AR上面不只要丰富的图形还有一个很重要的,AR叠在空间的人头上,不管怎么跑不可以歪掉,要电脑视觉,这都是GPU必须发展的地方。NVIDIA的技术跟大家一起同在,你甩都甩不掉。

今天主题是一沙一世界,一花一天堂,告诉大家怎么样化现实为虚拟之术,今天的国人讲爆点,12小时增加50%的效能,做的是VR的特别版。4.1已经发布了,我们在昨天晚上11点也把它做完了,有做RV开发,用引擎的就可以跟我联络,特异功能你也有,就是周星弛说的你想学,我教你。

第一,VR/AR从我的观念,它是一个枯木逢春的产业,在座的前辈,王捷已经做超久了,但是到一个时间点就爆发,这跟《阿凡达》是一样的,《阿凡达》3D电影已经存在,突然间大爆发,现在电影常常有3D眼镜,VR一旦进去现在爆发就停不了,VR爆了之后就会爆AR,大家一起做,所以对我来讲VR/AR就是枯木逢春。

第二点,VR/AR的生态系统,生态系统没有凭空产生的,就像地球的演化,从原有的生态系长出来,VR/AR的生态系来自于GPU、图形就已经存在的生态系,各种游戏产业、设计产业各种国防等等的还有医疗产业,VR生态系建筑于GPU的生态系之上。

最后,VR,对我来讲是RV,现实虚拟。

谢谢。

英伟达林耀南:做起VR大生态 技术的力量将引燃行业