旷视推手机3D视觉解决方案 安卓一秒变苹果

轩窗人工智能 移动终端 计算机视觉2018/08/09

智东西(公众号:zhidxcom) 文 | 轩窗 智东西8月9日消息,昨天,旷视科技推出了软硬一体的移动端3D […]

智东西(公众号:zhidxcom)
文 | 轩窗

智东西8月9日消息,昨天,旷视科技推出了软硬一体的移动端3D感知全栈解决方案,以“AI+3D”为核心,能够为手机厂商提供包含算法和模组的的3D视觉能力,目前旷视的合作伙伴包括华为、小米、高通、联发科等。

(旷视科技云事业部高级副总裁 吴文昊)

从2017年起,在苹果基于3D技术推出FaceID、Animoji以及各种AR应用后,安卓阵营的手机厂商们也纷纷开启了基于移动终端开发3D应用的热潮。国产手机厂商以华为、小米、OPPO、vivo为代表,率先在3D视觉研究上进行布局。不过有意思的是,在手机厂商热闹的竞争背后,他们却都选择与旷视进行合作。

一、旷视推软硬一体3D感知全栈解决方案

手机3D视觉领域虽然已有多种类型的应用案例出来,但该领域包含算法和模组的软硬一体整体解决方案仍是缺位的。在此情景之下,旷视联合了传感器、摄像头、3D扫描技术等移动终端上的3D产业链各路玩家,推出了软硬一体3D感知全栈解决方案。

在整套方案中,旷视担任什么角色?

旷视的研究体系主要有四个部分:框架式研发、核心算法、基础数据架构、深度学习自研引擎。针对不同的体系架构,旷视都有自己设计和优化的模型,并将每一个部分形成了方案模块。在获得了用户的需求后,这些模块可以快速进行组合,吴文昊也将其称为旷视的核心竞争力。

旷视科技目前基于AI和IoT技术,将业务分为三大块:消费终端、城市管理、商业运营。在智能终端上旷视主要有3个大方向:识别与感知、计算摄影、3D。目前应用方向主要在手机、汽车等领域。城市管理方面,旷视与公安部、支付宝等合作。在商业运营方面,主要是零售和物流行业,旷视与阿里巴巴、心怡科技物流都在合作。

在整套方案中,旷视将专注于识别和重建两个大类。在识别方面上,旷视将基于自研的MegBrain深度学习引擎,在人脸识别、人体识别、活体检测、注意力检测追踪及其他图像识别等方面进行能力构建。重建则是指对识别出的物体进行三维重建,目前,旷视在人像3D建模、人体3D建模及物体几何测量算法上进行丰富的研究。

针对不同的应用场景,旷视和合作伙伴将根据深度计算、深度修复、深度优化、标定、畸变校正等需求,设计出基于双摄、三摄、深摄的解决方案,在整合结构光、TOF、双目等不同的摄像、传感系统架构上也进行了相关探索。

二、旷视的3D产业合作伙伴

在旷视发布的软硬一体移动端智能3D产品解决方案中,最上面一层是3D应用层,往下依次至AI算法、解决方案,最后到摄像、传感等硬件设备制造商。

在终端设备上,旷视与华为、小米、OPPO、vivo等早就建立了合作关系。此外,旷视还将联合高通、联发科等主要芯片厂商合作研发算法适配性更强的芯片,进一步优化手机3D应用能力。

在移动端3D产业链最下面一层是硬件制造,包含摄像头、传感器、芯片等硬件模组的研发。结构光、TOF和双目方案涉及到高清摄像头、IR投射器、IR接收器、激光发光器等设备的搭配组合,旷视目前已经与艾迈斯(ams)半导体等3D硬件模组厂商展开合作。

在3D应用层面,旷视目前与做3D人脸扫描的Bellus 3D、做光场重建的叠镜科技、全球最大的无人机实景三维平台Altizure(珠科创新)等企业都建立了合作关系。

在会后的采访中,当智东西问到旷视在选择合作伙伴时有哪些标准?吴文昊回答说:“更看重合作伙伴的技术,我们希望给客户提供最好的方案”。

三、安卓阵营构建3D产业生态的挑战

相比于苹果封闭的研发体系,安卓阵营的厂商较为独立,这也给移动3D产业的发展带来了碎片化等问题。最有趣的是,软件厂商指责硬件不能满足需求,而硬件厂商指责软件厂商没有好的应用支持。

对此,吴文昊也讲起了旷视遇到的一个实际例子,去年旷视接手是vivo TOF项目的时候,遇到的最大挑战就是由于供应链非常复杂,在讨论方案的时候,屋子里挤着10多家企业。同时,面对的又是一个非常新的问题,各家都缺少主心骨,非常辛苦。正是在这种情况下,旷视决心做一个更高效解决方案。

尽管公众对VR/AR的热度有所减退,但近两年来3D产业却在手机上获得了新的生长土壤。有数据显示,2017年的3D市场达到了0.7亿,而且基本被苹果独占,今年在安卓市场崛起的情况下,市场份额预测可达3亿5千万。所以说,在安卓阵营里,3D产业的市场规模是非常庞大的。

不过,尽管3D产业有着庞大的市场,但落地方式还需要不断开发,而这要由应用场景和应用需求进行反推,同时,将移动3D产业供应链和生态链跑通也是构建3D产业生态的一个重要挑战。

(Bellus 3D的联合创始人兼CEO Eric Chen)

如果说是以应用驱动产业发展,那么好的应用的产生将非常重要。Bellus 3D的联合创始人兼CEO Eric Chen,曾是苹果Quicktime VR项目的创建者之一,在 3D扫描领域有30年的经验。在今天的研讨会上,他表示,基于手机前置摄像头的3D技术将会在未来三年内快速成长,而后置摄像头由于离物体距离较远,在技术上还有一定的挑战。同时,他也认为终端上的3D应用要想保持上升式增长,不能只靠解锁这一个单一定义,还需要给用户到来更多的新鲜感,这就有赖于应用开发者的共同努力。

结语:3D视觉风口开启

从今年移动行业的形式上看,全面屏、AI拍照已经成为了行业标配。移动行业的下一个争抢点,已经向着3D视觉进行转移。这从华为、小米、OPPO、vivo等厂商纷纷推出3D人脸解锁、3D动画表情和各种AR应用就可见一斑。

目前,在AI算法、AI芯片的助力下,3D视觉正开启新的风口。而3D视觉产业想要发展壮大,还需在软硬层面上进行结合,进行垂直化的整合,同时,也离不开应用的驱动。这一庞大生态的建立,还需安卓阵营中的各层级厂商们共同努力。

zhidx