肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

芯东西(ID:aichip001)
作者 |  温淑
编辑 |  心缘

芯东西121日报道,今天,上海AI芯片厂商肇观电子正式发布3D深度计算+AI加速芯片D163A

成立不到五年间,肇观电子迅速成长,已经推出NDV三个产品系列,分别覆盖AIoT3D视觉、车载三个应用领域。本次推出的D163A芯片,是肇观电子自2020年上半年以来发布的第二款D系列3D视觉芯片,既可作为SoC主控芯片使用,亦可作为协处理器使用。

同时,这家由AMD“老将创立的AI芯片厂商已完成5轮融资,累计融资金额超5亿元。

在肇观电子新品发布首日,芯东西独家采访了肇观电子创始人兼CEO冯歆鹏,了解D163A背后的黑科技,以及肇观电子未来的产品规划。

据冯歆鹏透露,D163A芯片在2020年第三季度已经开始量产,并在第四季度产量快速提升,接下来肇观电子计划推出一款V系列车规级芯片。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲肇观电子创始人、CEO冯歆鹏

一、3D视觉应用落地之难:对计算能力需求高

在各种形态的机器人、AGV(自动导引车)、无人机、可穿戴设备等多个领域,3D视觉应用面临着巨大的市场。

以机器人为例,理想状态下,搭载3D视觉系统的机器人可以判断出自身在空间中的位置,并能与其所处的环境进行互动。为了实现这一目标,产学界推出了双目立体视觉、结构光、ToF(飞行时间传感器)、激光雷达等多种技术路线。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲颜色的冷暖代表的是物体离镜头的远近

然而,现有的3D视觉解决方案往往无法为机器人等应用带来足够的环境感知能力。这是由于3D视觉应用面临着生成数据量大、计算复杂度高、实时处理要求高等方面的挑战。

冯歆鹏说:相比2D视觉应用,3D视觉应用多出了一个维度的数据,因此整体数据的存储、计算都变得非常复杂。同样地,算法的处理也会更加复杂。因此,3D视觉芯片需要具备较强的计算能力。

为破解3D视觉应用难题,肇观电子历经约三年的研发时间,推出D163A芯片。这款芯片可支持双目立体视觉、结构光、ToF(飞行时间传感器)、激光雷达等传感器的数据计算。

冯歆鹏特别强调,与市面上常见的3D视觉芯片相比,D163A芯片的三大能力格外突出:高精度3D深度计算能力、几何计算能力、AI计算能力

二、高精度3D深度计算能力:稠密度和深度准确率高

据冯歆鹏分享,为了保证3D成像效果,D163A芯片采用了类似人眼视觉系统的设计方式。

他讲道:一般来说,人眼视觉系统是基于一些物理原理,来判断物体在空间中的位置,比如通过左右眼看到物体的差别、通过不同时刻看到物体的差别来进行判断等等。D163A芯片采用了类似人眼视觉系统的方式,通过在不同时间点、不同位置上观察目标,获取各种信息进行计算,最终计算出目标的空间位置

从结果来看,不论是在被动光双目还是主动光双目的场景中,D163A芯片均能提供较好的3D视觉效果。据悉,被动光双目指的是采用可见光成像,不提供格外光源;主动光双目指的则是主动发射红外激光做补光用于成像。

在被动光双目的场景中D163A芯片在1280*720的高清晰度下,对处于近、中、远距离的不同对象进行3D成像。结果显示,D163芯片解决方案十分准确地反映出了实际的3D深度。

▲近距离的人脸深度图

▲近距离的五指深度图

可以看到,在近距离的人脸成像实验中,被测人物张嘴,嘴外和嘴内的距离只有几厘米,D163A仍可非常明显地测出深度;在近距离的五指成像实验中,五指张开的距离非常有限,但测出的图像轮廓依然非常清晰。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲中距离的前后物体展示

中距离的前后物体展示实验中,D163A成像的深度图稠密度高、视角大、距离范围大。基于D163A的单芯片系统方案,可以不依靠任何外部芯片或者PC机而独立完成全部功能,从而达到极致精简的系统成本。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲阳光下远距离的自然环境可见光图和深度图

远距离的自然环境成像实验中,D163A成像的深度图具有适应范围广、不受阳光干扰的特点。

另外,肇观电子展示了D163A芯片在640*480高帧率下的成像效果,最终成像的深度图准确反映了球在地上远近滚动的不同深度。

被动光双目场景中,阳光下球滚动的深度图

被动光双目场景中,在阳光下拍球的深度图

在主动光双目的场景中D163A芯片的性能优于Intel Realsense

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲在主动光双目场景中,D163A(中)Intel Realsense(右)的对比

三、几何计算能力:支持200余种通用数学计算

除了具备高精度3D深度计算能力,D163A芯片还具备业界领先的数字信号处理能力。

具体来说,D163A芯片可以支持200余种通用数学计算算子,其中包括三角函数、对数、快速傅立叶变换、HoGSVMRANSAC等等。

在应用中,D163A芯片可以实现各种复杂图像特征点的实时计算,可以同时运行特征点计算和AI计算。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

D163A芯片同时运行实时640×480像素FAST角点计算和AI计算

四、AI加速计算能力:网络精度几乎无损失,算法“5分钟部署

AI计算性能方面,在INT8FP16精度下,D163A运行各项网络均可达到较高的每TOPs每秒处理帧数。

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲上INT8的精度下,D163A芯片跑各项网络可以达到的每秒帧数;下FP16精度下,D163A芯片跑各项网络可以达到的每秒帧数

计算精度方面,肇观电子在PC NCNN FP32和板端INT8精度下对七种网络进行测试,结果显示D163A INT8量化网络的精度损失均在1%以内

肇观电子新款3D视觉芯片正式亮相:兼具高性能几何计算和AI能力,还能支持200余种数学计算

▲针对7种算法网络,D163A INT8量化网络几乎无精度损失

不仅如此,搭配肇观电子推出的AI应用开发平台Infer Studio™,用户可实现对D163A的快速开发部署。

冯歆鹏分享,一位客户基于Infer Studio™开发平台,仅用时半天就完成了对D163A芯片的多项开发任务。

五、已在多个领域实现商业闭环

作为国产3D视觉赛道上的一位玩家,肇观电子正凭借D163A和更早发布的N163A芯片快速铺开市场。据冯歆鹏分享,D163A非常适合解算双目立体视觉、结构光、ToF(飞行时间传感器)、激光雷达等传感器生成的数据。目前,D163A芯片已经在智能叉车、可穿戴设备、无人机、工业检测等领域实现了商业闭环。

此外,在移动设备市场,肇观电子亦有所规划。据冯歆鹏分享,肇观电子将承担为3D产业链赋能的角色,通过与客户合作,推动芯片在模组、移动设备乃至更多领域内的落地。

展望未来,冯歆鹏认为在几年内,3D视觉技术有望被应用到8090%的智能设备上。同时他表示,面对一片市场蓝海,肇观电子将持续深耕市场、推动产品迭代。

肇观电子将聚焦于现有的产品组合,依据客户的需求和技术的发展,把几个产品线越做越好,这是我们的目标。他说道。

结语:3D视觉有望成为机器视觉市场主流

目前,3D视觉市场正在飞速发展。据市场研究机构赛迪顾问预测,到2022年,中国工业机器视觉市场规模将达到180亿元,其中3D视觉技术和产品有望成为市场主流。

在这背后,工业机器人对于抓取目标的三维位置信息需求变大、自动驾驶应用对于环境感知能力的需求变高……许多领域均对3D视觉技术伸出橄榄枝。在国产3D视觉产业链中,肇观电子等玩家的成长,亦印证了这一趋势。

未来,3D视觉应用或将渗透进更多场景,我们拭目以待。