你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

智东西(公众号:zhidxcom)
文 | 连然

七维科技成立于2014年,是一家专注于计算机图形图像和视觉领域的技术公司,提供内容生产分发工具和播放工具等内容生产工具,拥有360度实时全景视频缝合技术引擎以及VR故事引擎 。

前者为360度全景视频制作提供解决方案,支持民用级多目摄像头、4k摄像机以及专业电影级设备;后者为VR影视及游戏中存在的体验问题提供解决方案,包括解决VR多场景、多故事线以及多方位声音标定等。与VR一致,七维科技研发的AR行业解决方案,同样面向企业级市场,应用领域有娱乐、体育、教育等行业。

殷元江开始这条路,是在2010年。他是七维科技创始人&CEO,1982年生人,毕业于加拿大滑铁卢大学计算机系,科班出身。曾就职于Autodesk 加拿大、Nortel(北电网络)等公司任资深研发工程师。

团队:从四个人到近九十人

“最开始,技术是我在做。”

七维科技目前主要的核心团队有四个人。其中,李晓波进入VR行业要很早,是在2007年,当时主要在做VR交互和外部硬件设备相关,主要负责市场营销;徐立是负责产品研发;文衡则主要在内容制作和内容策略,曾在水晶石等CG团队任职。

2010年左右,殷元江决定回国开始创业,成立了一个小的工作室。

在2001到2010年,殷元江一直在加拿大从事图形图像等计算机视觉方面的工作——在蒙特利尔做传媒娱乐电影后期和特效编辑软件。2010年,殷元江回国,开始做实时CG类渲染引擎等技术。在2012年,殷元江和当时的团队做了欧洲杯“豪门盛宴”广电级别的增强现实,比如在节目中出现可以与现实互动的虚拟球员等。后来,增强现实的应用一直做到现在,比如2015年的春晚,世界杯等广电应用。

目前,七维科技的团队有九十人左右,研发大概四十人左右,其他人主要负责内容运营维护等CG内容制作。

相比Vahana VR 后项视频处理能力更强

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

(Vahana VR画面截图)

国外的Vahana VR在产品上与七维科技的Go!Pano Studio有相似的部分:

Vahana VR支持众多的视频采集与输出硬件,包括Blackmagic Design的DeckLink系列SDI卡等,可以实时捕捉每秒30帧的2K/4K360度全景视频;输出上,Vahana VR可输出360度×180度视频(亦称equirectangular格式),适配大多数VR头戴显示器以及包括YouTube和Littlstar在内的360度视频平台,并可与定制的视频播放器兼容;在带宽受限的条件下,Vahana VR亦可提供低延迟的360度视频直播;Vahana VR还可以通过互联网连接RTMP广播,直接将视频流接到选择的媒体服务器。

而Go!Pano Studio是七维科技一手打造的既支持实时无缝拼接及实时预览,也支持实时全景云直播及实时全景虚拟植入的360度全景拍摄软件套件以及硬件解决方案,覆盖从内容采集端到用户端的整个流程;兼容于GoPro、Drift、Red、Alexa等专业级别和影视级别的摄像机;支持2-10目全景视频实时拼接,本地录制及HD-SDI、HDMI信号输出、曝光调节和白平衡调节、实时全景云直播;可根据物体的畸变对特效进行贴合,提供一定的实时特效。

在七维科技与平台或内容制作方的合作中,Go!Pano Studio一贯扮演着重要的角色。不过,Vahana VR在国内外也有不少的客户和代理商,相比Vahana VR这样的竞争对手,七维科技要如何与之较量?

对此,殷元江表示七维科技相比Vahana VR,在缝合算法之外,出于此前的技术积累,可做到后端云直播并拥有更强的后项的视频处理能力——比如可以实时调色,处理曝光度、白平衡等所有的视频属性,可以实时在全景视频里植入虚拟元素(此项对于此前的AR视频渲染引擎有所继承),做到更多的交互等。

Go!Pano的迭代:一键标定

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

(Go!Pano SONY Α7SⅡ-RIG)

解决方案Go!Pano从2014年年底开始研发到现在,将近一年半的时间里经历多次迭代,但最新一次的迭代中,“一键标定”算是不小的突破,此前一般为“手动标定”。

Go!Pano本身是软件系列,可以支持不同的缝合算法,现在只要根据不同相机组合选择不同算法,其就可自动标定相机的内外参数,拼接与缝合算法,如此一来,识别性范围扩大。

殷元江提到在Go!Pano解决方案的研发过程中,相机的准确标定是比较难的一个部分。因为无论是集成方案,还是一体化硬件方案,都涉及到相机和传感器的反求,即通过特征点、算法来反求标定的内参(畸变、FOV、像素错位等)和外参(空间位置等)。反求更精确意味着缝合和拼接会更准确。

专注企业级行业用户

在七维科技的收入结构方面,殷元江介绍到主要分为两部分:

VR相关方面,针对大的行业用户所需的重度产品,主要提供基于Go!Pano的软硬件销售、租赁、直接直播服务录制制作服务;轻度产品上,主要以软件销售和授权为主。2016年的营收大概在几千万的量级。

另一方面,传统广电级的AR业务在营收中也占有较大比重。譬如七维科技现在在做的《星光大道》、七夕晚会、跨年晚会等传统综艺节目等内容业务中 ,合作的呈现方式为高清视频信号中的AR植入,即广电级别的增强现实——广电实时视效系统中虚拟演播系统的应用。

在广电业务的推广中,视频渲染引擎是主要部分之一。殷元江提到视频渲染引擎类似于交互Hub——视频的接入与输出。在交互上,他们的这套引擎支持各种跟踪方式,包括脸部和全身的跟踪。从2010年到现在,其视频渲染引擎逐渐达到广电级别的无相位差的视频信号。整体上,可以实现抠像、合成、实时交互等。

VR/AR直播——“直播互动”

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

对于七维科技对综艺节目的VR或AR直播,殷元江一以贯之称为“直播互动”,“是虚拟现实还是增强现实并不重要,重要的是现在大部分节目都是直播互动。”他认为VR与AR仅是在展现的手段与途径上有区别,在技术的本质上没有区别,因为两者本身应用的都是计算机图形图像技术。

2014年,殷元江及其团队做出了视频缝合的算法产品Go!Pano。与此同时,AR方面的业务也在持续进行中。殷元江指出,他们的VR视频解决方案中其实也融合了很多AR方面技术,比如在全景视频中实时植入虚拟元素等。“所以,有什么区别呢,没区别。”

不过,殷元江也认可AR的使用与呈现方式使得其具有更宽泛的发展前景与更大的应用空间。但其技术本质,都是计算机图形图像识别方面的技术,与VR没本质区别。

某种意义上来说,视频渲染引擎是链接传统综艺节目与新媒体的桥梁。而这部分业务,他们已经做了四五年。“欧洲杯的豪门盛宴做了三次——欧洲杯、世界杯、欧洲杯,一个轮回了。”此外,还有春晚跨年晚会、湖南卫视、浙江卫视的综艺节目等诸多卫视综艺节目和网络视频类公司比如爱奇艺的相亲类综艺节目等。“很多,非常多。”

主播还是以前主播,只不过出口变成了VR出口

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

殷元江介绍到七维科技下一步的发展计划是尽可能让大小级别的PGC都用到七维科技的解决方案与产品,并表示七维科技最近会与几个直播平台合作上线重度VR秀场——用户可以和主播同处一个虚拟立体三维空间,进行实时沟通与交互等游戏化运营行为。

在刚刚结束的CJ上,虎牙直播就携手七维科技进行了VR全景直播,此前,七维科技也参与包括《大鱼海棠》发布会、音乐风云榜等合作了VR直播,那么,对于VR直播这件事,殷元江本人是怎么看?

对此,殷元江认为VR直播是件时髦的事情,现在VR直播出现的频率基本已相当于标配,而传统秀场未来的方向中更是一定有VR直播的身影。因为以男性为主的直播平台用户市场,对于秀场对于立体主播是有着强需求的-立体的3D立体主播以及互动显然比平面体验要好。

另外,对于将要推出的游戏化运营,殷元江也透露到其内有180度立体拍摄硬件和包括180度立体合成、抠像,传输,播放端播放器的采集端算法。内容依然是来自传统秀场的PGC内容。是的,主播还是以前主播,只不过出口变成了VR出口。

合作伙伴众多

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

七维科技有着庞大的合作伙伴体系,包括从央视到地方的各级广电,从乐视、爱奇艺到先看网络——或提供拍摄设备或合作摄制制作。在其为客户提供的整体解决方案中,包括自主研发的Go!Pano Studio软件核心套件,以及自主研发的硬件解决方案两部分。

资料显示,早在2015年,光线传媒便入股了七维科技并占有40%股份,今年3月,光线传媒子公司光线影业又向七维视觉科技追加投资4000万元,其先以自有资金700万元受让七维科技股东王绪久持有的七维科技4.53%股权,随后光线影业以自有资金3300万元认购七维科技17.61%的新增注册资本。交易完成后,光线影业将合计持有七维科技51%的股权,成为其控股股东。

由此可以看出在光线传媒的VR布局之中,七维科技角色不简单。而据殷元江,他认为光线传媒在VR领域的布局中,当虹科技与七维科技一同是其主干力量。其中,七维科技主要在采集和内容源端口发挥能力,当虹科技的能力则主要在于传输和分发。当虹科技在编解码方案和操作上都有不错的实力——编解码算法做得好,可有效减少失真,节省带宽,优化传输。七维科技与当虹科技在编解码方面拥有强协作,比如,诸多广电级别的客户解决方案就是他们两家一起做的。

筹码不会放在硬件

“2011年左右,你觉得VR能靠什么赚钱?”当时,殷元江就决定要从B端市场切入VR领域。B端用户对技术含量和互动性的要求和需要都相对较高。

在缝合算法等产品达到了相对成熟的地步,与此同时,市场对这种级别的产品的需求也到一定程度,也就是今年年初,七维科技开始做硬件——下半年将发布针对C端VR一体机——相当于独立VR相机的四目全景一体机,可用于拍摄和直播。便携型产品适用于轻度PGC;四个索尼等组合而成的四目一体机产品则面向重度PGC,之所以选择索尼阿尔法七是因为其可以手动曝光,对场景也拥有着更强的适应性。后者适用于重度高质量直播,定价在数十万左右,因为索尼相机本身硬件成本高,再加上移动便携工作站、周边配件等的成本。另外,针对秀场的全景180度立体集成硬件也很快会上线。

殷元江清楚地知道自身的局限在哪里——民用级别的两目解决方案上,尼康、理光等已经做得很好,国内初创尽管有着先发优势,但在技术积累是一定远远落后于传统厂家。所以,七维科技对于这部分市场的态度便是通过出ODM、OEM供他人分装的方式,并不会在其上压量。并且,从企业经营层面来看,这部分市场利润空间小、竞争惨烈,风险巨大;在内容层面,针对个人用产品UGC层面的内容生产意义并不大。

对于国内“遍地开花”的线下体验店,殷元江认为这种模式的成功与否要看内容是否支持。但事实上,目前并没有特别优质的内容出现。而且,“蛋椅”这类低价低技术含量的体验设备,还会对用户的整体体验造成一定程度的伤害。 至于VR主题公园则对场地有着不低的要求。中国与海外不同,美国等海外国家偏远地区的低地价对于需求庞大的VR主题公园来说是可以承受的。而国内,情形完全不同甚至基本相反。

平台驱动内容生产

国内几大视频平台也已都在涉足VR,对此殷元江认为平台对于内容生产有着驱动效应,不过出于整体的投入产出比,他们现在更多处于“试水”阶段,投入中规中矩,在一波内容的制作周期完成后,内容层次应该会有所迭代。但事实上,目前做内容平台很难赚到钱,所以“你做的越早,烧钱烧的更早。”对于近期有VR内容平台与创业团队声称作出VR交互内容,殷元江看法不同,他认为现在作出的交互内容,更接近以选择为主的AB剧一样,本质并无变化。

殷元江介绍到七维科技目前主要的成本在于研发,整体上,软件开发相对花费更多,硬件则主要花费在开模具成本。他认为,VR领域的硬件软件将会是相辅相成的关系。不过,等到第四季度或明年一二季度,第一波Daydream手机面世,将促成移动VR端用户的增长。势必会推动市场即硬件会先带动一部分市场;此外,目前也并无特别优质的VR内容出现。

VR一体机定位尴尬

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队

2016年下半年伊始,便悄然出现了一些唱衰VR硬件的声音。殷元江没有很意外,“自然规律。”毕竟,年初甚至更早的时候,VR是被炒的太热了,也是时候降降温了。

对于几乎是国内“特有的”VR一体机,殷元江用“定位尴尬”来形容,“谷歌的Daydream平台标准的推出,就是让手机厂商提升自己的硬件标准与能力来支持VR,所以,一体机的存在价值在哪?”讲真,如果手机搭载高通820级别的芯片,拥有良好性能,那么它放在盒子里的时候,表现是不会输给一体机的。所以,着实尴尬。

其次,这些做VR一体机的初创们,其实是在夹缝中求生存。出于技术积累等差距,他们在PC级做不过HTC这样的公司,在移动端,华为、小米等传统手机厂商的入局使得这块市场竞争将更为残酷——其在生态链和量产上的天然优势,以及移动端VR设备对手机的依赖,“作为手机厂商,出个盒子不难。”

而尴尬还在于,今年面世的一些底层芯片,比如英特尔,其芯片处理能力尚未成熟到可以完美地提供HTC Vive重度游戏的沉浸体验与渲染效果;仅仅是能满足移动端VR或一体机的体验要求,但这两者,显然提供不来PC级别的重度体验,能搭调的,是视频观看的需求。不过,看视频,移动端VR也就够了,何必三四千买一体机呢?

结语

VR/AR整体产业链非常庞大,包括计算机图形加计算机视觉、光学硬件、传感器、镜头、屏幕、CPU与GPU等等,而这些,殷元江表示目前来看,海外水平超出国内不止一大截,比如微软将相当一部分SLAM算法移植到硬件上的技术水平就是国内初创难以企及的高度。但应用层面而言则有所不同,一是“中国模仿能力很强”,其二则是在VR/AR产业中的一些细分部分,国内也有团队做的不错,提到这一点,殷元江顺带把自家七维科技在人脸变形动画与追踪摆了出来。

随着偶有的唱衰VR之声,有人开始拿3D电视的没落来比拟VR的未来。但在笔者采访过的VR创业者中,很是有人持有“VR一定是未来”的坚定想法。殷元江的态度亦是积极。他认为尽管VR/AR的爆发点不会很快到来,但两者会不断前进。微软、谷歌、Oculus、亚马逊、Facebook等美国诸多千亿市值以上的互联网公司都在做VR,这些有着更专业的态度更持久的探索与比资本市场更大的耐心的巨头在前面带路——VR夭折的概率会很小。

在当下的VR领域,C端用户的爆发还需假以时日,B端市场的确更值得深入。殷元江带领七维科技持续深耕全景视频软硬件套件及解决方案,产出广电级别的增强现实内容,为传统节目提供AR/VR加持的“直播互动”,加之光线传媒的重视扶持,前景可期。

你一定在电视上看过他们AR作品 起底光线传媒背后VR团队