这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

智东西(公众号:zhidxcom)
作者 | 杨畅
编辑 | 心缘

智东西7月7日报道,昨日,法国机器视觉创企普诺飞思(PROPHESEE)宣布获得C轮融资,由李开复创立的创新工厂领投,小米和上海韦豪创芯跟投。迄今普诺飞思已累计融资6800万美元。

普诺飞思的核心技术是神经拟态视觉技术,其主要产品包含两类:原视觉(Metavision)传感器和原视觉智能套件。这可以被理解为模拟了人眼和大脑协同的工作方式,能让机器看到隐藏的场景运动信息。

今日,普诺飞思联合创始人兼CEO卢卡·维雷(Luca Verre)与智东西等媒体远程视频连线,详细介绍其核心技术的三大主要优势。此外,卢卡还特别提及对中国市场的看好。

一、仅检测变化信息,忽略静止图像

成立7年的普诺飞思,总部位于巴黎,目前在全球设有5个办事处,中国分公司位于上海,普诺飞思最近在大力拓展中国团队。

目前普诺飞思团队共有100多位工程师,掌握51项国际专利。

据卢卡分享,普诺飞思传感器和传统传感器的工作原理存在明显差异。

传统图像传感器是以某一固定帧速率记录整个场景,如每秒30帧。以打高尔夫球的视频为例,这一场景中重要的信息是球杆的摆动和球的运动,但传统传感器将丢失这些信息的某些部分,同时反复记录他身后的天空、树木和草地,这样记录的数据对于机器识别来讲相对原始和冗余。

这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

普诺飞思的核心技术受到人眼和大脑工作原理的启发,是一种基于事件的视觉神经拟态处理技术。

人眼眼睛中的视觉细胞感测到场景变化时,即“事件”,细胞会传递信息给大脑,如果场景没有任何变化,则细胞不会传递任何内容,场景中的物体移动得越多,我们的眼睛和大脑收集的数据越多。

这种基于事件的传感器,每个像素都会根据其检测到的对比度变化(运动)智能地激活自己,可以获得连续数据,没有帧率的限制。

具体来讲就是,跟踪识别物体变化产生的光的变化。

普诺飞思高级现场应用工程师Cyrus Lo,从三个方面对其技术进行了展示:

首先是演示了普诺飞思的视觉传感器可以检测物体或人运动产生的光的变化,反映到屏幕上是箭头的颜色和长度,颜色代表运动方向,长度代表运动速度。

这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

▲普诺飞思视觉传感器可以反映物体运动速度和运动方向

第二个演示展示,说明了普诺飞思传感器检测数据的另一个特点,静止状态的话,显示屏幕上是一片空白的,当有物体动起来,就会有蓝色和黑色的图像出现,代表从暗到明或从明到暗的变化。

这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

▲普诺飞思视觉传感器显示物体反射光线的明暗变化

最后一个演示表明了,普诺飞思传感器记录数据是连续的,只要物体一直在动,它就一直记录。而传统传感器记录是有间隔的。

这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

▲普诺飞思传感器记录数据是连续的

卢卡说,基于事件的处理技术有三个优点:第一是会减少数据冗余,减轻计算压力;第二是速度,提高机器识别图像的速度,不用机器去对比图像之间的变化,而是直接记录变化;第三是增加动态范围,只要有光即使是很微弱的光线环境,也可以进行动态物体运动的捕捉。

二、极端环境或不便接触的环境下可用

卢卡还介绍了多种其技术的应用场景,目前涉及辅助驾驶领域、医药医疗领域、工业领域。

辅助驾驶领域,例如当驾驶员放下遮光板时,车内存在非常亮和非常暗的地方,传统图像传感器可能识别起来存在困难,但是基于事件的图像处理传感器是根据物品移动时带来的光的变化而采集的数据,也就具有更宽的动态范围。

医疗领域,如在胰岛素生产过程中,原有的方法是等最后时候进行无菌检测,但是基于事件的视觉技术就可以实时对培养基进行检测,这是非接触性的。

这家AI创企专攻神经拟态视觉技术,获创新工场、小米投资

普诺飞思大中华区商务发展主管Johney Lu说,在工业领域,普诺飞思的技术已经实现商业化落地,例如振动检测像铁轨、高压装置等不方便放传感器的地方,基于事件的视觉传感器可以不与物体接触,就能检测出物体的变化,再如,焊接过程中,使用传感器也可以帮助寻找焊点和实现质检。

卢卡提到他非常看好中国市场,因为中国是最大的智能手机市场、最大的摄像头市场、最大的无人机市场等等,这些都可能用到他们公司的产品,助力普诺飞思的产品和技术进入商用领域。

结语:神经拟态视觉领域,索尼、三星等已进入

普诺飞思传感器是从采集阶段就之间采集数据变化的信息,相对于传统视觉传感器输出的结果更简洁,没有重复信息,提高图像等的处理效率。

像三星和索尼等,去年就有涉及神经拟态视觉方面的行动,其中索尼在去年2月就和普诺飞思合作发布了第四代原视觉传感器芯片。根据欧洲半导体分析机构Yole Développement的预测,到2029年,神经拟态半导体、传感和计算市场可能会达到71亿美元,市场有一定发展前景。