【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

4月20日起,智东西公开课推出自动驾驶系列课第二季,9位自动驾驶新势力的创始人和高管陆续带来9节系列课。

第二季第二课由纵目科技智能交通事业部总经理王凡主讲,主题为《如何打造可大规模量产的自主代客泊车系统》 。在浏览正文之前,先了解一下本次讲解的提纲:

1、自主泊车的需求有多大;
2、自主泊车的不同阶段和技术挑战
3、自主泊车系统深度解析以及落地案件
4、如何实现自主泊车系统的大规模量产

在本次讲解中,你也可以获得王凡对以下问题的回答:

– Level 2的自动泊车与Level 4的自主泊车的区别?
-高精度地图、SLAM以及定位三者的区别?
-纵目在自主泊车的ECU中,为何选择高通骁龙820A芯片?
-纵目的自主泊车在光线不好和无GPS的地下车库,如何定位和规划路径?

「提醒:如果希望下载自动驾驶第二季每堂课的完整课件,可以在车东西公众号(ID:chedongxi)回复关键词“系列课”获取。如果你希望成为主讲导师,可以回复关键词“导师”,进行申请」

主讲实录

王凡:大家好,我是来自纵目科技的王凡,非常感谢智东西为我们提供了一个很棒的在线交流和合作平台,非常感谢各位同学利用晚上的时间一起来交流。今天我想和大家分享的是如何打造可大规模量产的自主泊车系统或者说是代客泊车系统。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

我们最近一直在思考三个问题:

什么是可量产的自动驾驶?
什么是可大规模量产的自动驾驶?
什么又是可以在中国大规模量产的自动驾驶?

在过去的一年中,我们不断听到国内同行说要量产自动驾驶,但是当你问到他具体做了哪些测试,累积了多少路测里程的时候,你可能发现他刚刚完成了第一个Demo,准备量产的数量可能还不到一百台。其实这样的产品还是在原型验证阶段。对于自动驾驶,我们还是要抱有敬畏之心的。Waymo在路测了500万英里之后,才敢在凤凰城小规模小范围的进行试运营。

任何一个量产车型上用的零部件都需要经历非常严苛的测试,比如冷热冲击、电磁兼容、耐久、腐蚀、各种极限工况的测试等等。对于自动驾驶来说,从传感器到域控制器再到执行器的各个零部件更是需要按照功能安全的要求,对需求、设计、开发以及验证等活动乃至整个开发流程本身都提出了非常高的要求。

我们对每一种失效的场景都要进行危害风险分析,这些是大量的细致工作。如果跳过了这些阶段,直接后果就是现在我们在新闻上经常看到的自动驾驶导致的一些人身伤亡事故。我们开发这些产品的本意是让世界变得更美好,但这些产品却变成了马路杀手。这不是我们希望所看到的。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

再来看一下这张图。除了大家熟悉的SAE对自动驾驶进行一到五级的分级之外,我们还增加了Geofence的维度,也就是地理围栏。Geo 1是相对比较简单的场景,比如停车场、港口等。而Geo 5是非常复杂的场景,比如北京的五道口或者城乡结合部等。

Level 2自动驾驶功能,其实现在都已经可以大规模的量产,而且可以覆盖各种Geofence的场景,但是在左图中可以大家可以看到右下角一些红色的圈圈,这些代表的是在非常复杂场景下的一些高度无人驾驶的功能,我们认为这些功能在短期内还是很难落地的,虽然说有些已经可以去跑下Demo和测试了,但是还是需要安全员的。

在左边的这些绿色圈圈代表是一些在简单环境下的无人驾驶,比如我们今天所谈的自主泊车,我们认为这些产品是有机会在短期实现商业落地的。

其实我们还可以增加第三个维度,也就是有没有人乘坐。当有人乘坐的时候,这个无人车必须考虑到乘客的感受,如果车开的太慢,乘客可能就会感觉到很不舒服。但是如果没有人乘坐的时候,这个无人车只需要考虑到环境的感受,只需要顾及到道路上的行人和其他的车辆,这样一来就比较容易实现,而且即便是条件不允许,也可以在路边紧急停车。因此在商业上更容易落地。

什么是可以大规模量产的自动驾驶呢?这个问题要从商业的基本逻辑来看,一个产品只有赚钱才有可能大规模生产,自动驾驶可以有很多种不同的产品形态,每种产品形态都有自己对应的商业模式。

比如Waymo以及一些创业公司,他们想做的是无人出租车,这样自动驾驶系统的成本高达几十万或者上百万人民币,但是它可以取代人类司机,节省成本。根据财务测算,如果真的运行三年之后可以实现盈利的话,那么这个商业逻辑是通的。

但是如果让我们老百姓来掏钱买这样的车,几乎是没有人会愿意去买的。所以私家车主希望的自动驾驶是在增加车价不多的前提下,有限改善我们现在用户体验。所以这个成本是非常重要的。

什么是可以在中国大规模量产的自动驾驶呢?在美国,其实在高速公路的Level 2、Level 3的功能还是比较受欢迎的。因为在美国大部分地区出门就是高速公路。而在中国,我们大部分城市出门就堵车,而且中国的城市化进程还远没有结束,城市正在变得越来越大,有的时候我们不敢开车出门,主要的原因是担心找不到停车位。因此对于中国车主来说,他愿意买单的车一定是解决中国痛点的车。

下面简单地介绍一下纵目科技。纵目成立于2013年,早期专注于视觉算法的开发。在2015年年底,相继完成了A轮融资以及第一款环视产品的量产。2016年我们在北京成立了自动驾驶研发中心,专注于低速自动驾驶方向;2017年2月完成了一亿人民币的B轮融资; 11月我们发布了针对地下停车场的自主泊车功能;12月国内第一台搭载高清环视ADAS功能的车型正式下线,里面采用的就是纵目的控制器。

到今天为止,纵目已经有超过两百名员工,三个研发中心,两个制造中心。作为Tier-1供应商完全有能力符合最严格的质量标准为主机厂提供最可靠的产品。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是纵目的产品路线图。从第一代的360环视产品开始,我们在后面又持续开发出了很多基于环视ADAS的预警功能。在刚刚量产的车型里就搭载了纵目的DOW(开门预警)和BSD(盲区车辆检测)的功能。

在Level 2,我们有基于环视摄像头和超声波雷达融合的自动泊车功能。今天,我们主要介绍的是Level 4自主泊车的功能。

从这个路线图可以看出纵目对战略的思考。我们认为伟大的公司必须有伟大的志向,但是每一步都必须脚踏实地。我们要让我们走过的每一步都成为通往下一步的台阶。在环视这个可生长的平台上面,我们持续的开发,通过量产的产品形成很好的盈利来支撑公司向前可持续性发展。

这里可能要和大家澄清两个概念,一个是Level 2的自动泊车,也就是Automated Parking Assist,简称APA,主要是完成了最后五米的控制问题;另外一个是Level 4的自主泊车,Autonomous Valet Parking,简称AVP,实现的是在一定区域内的无人驾驶功能。实际上我们公司是在同步开发APA和AVP两个功能,其中里面的很多的设计和架构都是可复用的。一方面我们的APA具备和Level 4一致的设计标准,具备良好的可扩展性和升级能力;另一方面APA的量产为我们积累宝贵的产品化经验和大量的测试用例。

主机厂对这样的产品也有不同的定义,比如记忆式泊车、训练式泊车等等。这些功能有的是自主泊车的一个子集,有的可能是另外一个名字;从技术方案上来说,基本上是一致的。

视频一(在车东西公众号回复关键字“视频”获取)

基于超声波的APA的功能已经有十几年的历史了,但从用户体验来说,一直也不算很好。对于一些比较简单的,人能停进去的停车位,APA也能停进去,但是人停不进去的停车位,APA经常也停不好。比如,从视频中大家能看到这个立体停车库,我相信很多开车的人都体验过,结合我们的视觉APA就有时间有能力来解决好这个问题。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

再来看一下自主泊车。生活在大城市的年轻人,周末都喜欢去Shopping Mall,可以在那里吃喝玩乐呆上一整天的时间。但是在Shopping mall里停车,可并不是一个很好的体验,空气差和闷热,来的时候找不到停车位,走的时候又找不到车,停车场经常很大,非常容易迷路。上面这图是网友们对上海长泰广场停车场的吐槽。

视频二(在车东西公众号回复关键字“视频”获取)

我们通过这个视频来看一下自主泊车来怎么样改善逛Shopping mall这个问题。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这段时间很多城市又开始陆续增加了共享分时租赁的电动车。我自己也亲身体验过一次,是在上海还算覆盖比较好的地区,早上七点钟时候开始约车,结果一辆车都没有,因为所有的车都被约走了。然后我就像刷火车票一样不停地刷,刷了二十分钟之后,终于刷到了一辆车,这辆车离我1.5公里,我只有十五分钟的时间来找到这辆车。整体体验其实并不是很好。作为用户来说,我希望可以像使用共享单车那样使用共享汽车,这就需要解决好最后5公里的问题。对于运营商来说,现在的分时租赁汽车还无法形成盈利,主要原因就是汽车每天使用的频次太低,调度的成本又太高。而自主泊车的技术恰恰能够解决这些问题。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

李德毅院士今年在走访纵目的时候提出,企业要把自动驾驶的最后一公里当做最先的一公里来做。

自主泊车技术可以应用在两个商业模式里面。面向车主(To C)的市场,依然是从严格的OEM到Tier1、Tier2供应商这种分级体制;而面向共享出行市场的To B模式,需要OEM、运营商以及不同的技术提供商在一起相互配合来构造整个生态系统。这里可能会涉及到停车场的管理、车队运营管理、无线充电甚至是保险公司等不同的商业模式。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

我们把自主泊车的落地划分成了三个阶段:

在1.0中,我们主要想解决的是停车场以及简单园区的应用;
在2.0中,我们会扩展到复杂的园区以及结构复杂的多层停车场;
在3.0中,我们会进一步扩展到停车场周边的市区道路。

大家可以看出这三个阶段的场景是从封闭到开放,从简单到复杂的过程。在1.0中,我们是要来开发验证我们系统架构的关键技术。在2.0和3.0中,我们会通过大量的测试来提高技术的成熟度。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

我们再来看一下自主泊车所面对的技术挑战。首先我们来看一下系统需要什么样的传感器。因为传感器的成本几乎占据了整个自动驾驶系统成本的绝大部分。刚才我们已经分析过了,面向大规模量产的自主泊车系统必须是一个低成本的方案。我们认为这个方案的成本应该比Waymo的系统至少低两个数量级。

但低成本不代表在质量和可靠性方面有任何的妥协,产品必须按照最高的功能安全等级来设计,要完成大量各种各样的测试。

另外停车场的环境有很强的特点和挑战性,比如收不到GPS信号、缺乏统一的建筑标准、光线变化很大、有些停车场的地面反光很严重、很多停车场的建筑重复度很高、很多区域非常相似、人在里面也很容易迷路以及墙面都是白色的,缺少一些必要的纹理信息,这些都是对传感器算法的挑战。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

下面分别从感知、定位和规划三个核心算法来看一下我们是如何解决这些问题的。

在开车的时候我们到底需要什么样的感知能力?如果是人在开车,在高速的场景通常是比较简单的,你基本上只需要眼睛看着前方一百米这样的距离,保持一个放松的姿势就可以了。反而在低速的时候,驾驶员需要不断地来回转动头部来观察周围的视角。这就是为什么很多新手司机可以在高速上开车,但是到了市区反而不敢开的原因。因此,我们可以得出一个结论,就是感知的距离和车速成正比,而感知的角度和车速成反比。

因此,我们认为在低速时候,环视的4个鱼眼摄像头能够非常好地满足这些需求;同时,我们也会将5个高分辨率的毫米波雷达和12个超声波雷达进行融合,形成必要的冗余。

视频三(在车东西公众号回复关键字“视频”获取)

这是我们通过深度学习在单目鱼眼摄像头中对停车场内部的场景进行目标检测和语义分割的结果,可以实现对环境的精确理解。

在一个具体的产品中,我们面对的这些问题可能是独一无二的。这与产品的功能、环境的特点和传感器的配置、摄像头的参数等等这些因素相关。所以我们很多的算法需要根据问题来量身定制,而团队必须具备定义问题和解决问题的核心能力。

视频四(在车东西公众号回复关键字“视频”获取)

这是一个通过环视拼接所生成的俯视视角,用来检测地面的停车位以及其他的地面标志。从左边的原图我们可以看到地面的反光还是非常明显的。但是通过深度神经网络之后,我们依然可以得到一个非常不错的结果。

视频五(在车东西公众号回复关键字“视频”获取)

这是在道路上实现的实例分割、目标检测以及Tracking的结果。

视频六(在车东西公众号回复关键字“视频”获取)

这个视频主要展示的是对道路上交通标志牌的检测、实例分割以及精确的顶点定位。现在很多图商所提供的高精度地图里面都包含了标志牌的3D信息。通过这些信息,我们可以计算出标志牌到相机平面的Homography矩阵,来计算出车辆的精确的姿态。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

我们现在再来看一下高精度定位的问题。首先我想帮大家捋清三个概念,分别是高精度地图、SLAM以及定位。

在机器人学里面,几乎所有的概念都是以概率的形式来定义的。高精度地图就是在轨迹测量值已知的情况下来计算地图的概率分布。这里x代表了传感器每一时刻的姿态,z代表的观测值,m代表了地图。

如果x和z是非常精确的,那么这个过程就会变得非常容易。图商在制作高精度地图的时候通常会采用非常昂贵的地图采集车。而采集车的成本,每辆大概在几百万到上千万人民币,车上有高精度的组合导航设备可以获得厘米级的姿态,多线数的激光雷达可以对环境进行非常精确的测量。对于像隧道或者停车场这种场景,他们还会布置临时的一些基站来实现室内定位。

在这些定位和测量基础上,我们就可以得到一个非常高质量的地图。然后在这样的基础地图上去生成高精度的地图数据,这个过程在第一季高德公开课的谷小丰老师的讲座里面已经讲得非常清楚了。

对于自主泊车来说,有些停车场可能还没有这样的高精度地图数据。客户也希望能够通过学习和训练的方式来实现自主泊车的功能。实际上这是一个SLAM的过程,也就是说,当m和x都是未知的时候,我们要通过u和z来同时求解x和m的概率分布。这里的u代表的是一个控制命令,也可以用里程计来代替。u的质量对SLAM的效果影响还是非常大的。在我们的控制器里面,我们设计了一套极低成本、紧耦合的组合导航,可以输出非常高质量的里程计数据,从而保证SALM的效果。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

上面这张图是用单目鱼眼镜头在停车场内的一个地图构建,里面包含了停车场两层的结构,大家可以看到重建出来的效果还是非常好的。

我们也尝试过用普通的前视相机在停车场里面运行SLAM,但结果并不理想。原因主要还是由于墙面缺少必要的纹理信息。这就好比把一个人放在一个陌生的房间里面,但是你限制了他的视野,给他戴上了一个望远镜,那么他就很难搞清楚自己的位置和周围的环境。因此这种超大FOV鱼眼镜头在停车场里面是非常有优势的。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这张图我们是用4个环视鱼眼相机实现的多目联合SLAM优化,可以进一步的提高算法的鲁棒性。这张图表示的是在完成闭环前的一个状态。熟悉SLAM的同学可以看出来,在这个闭环的结合处,闭环误差是非常小的。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

当有了地图,我们车辆在进入到地图覆盖区域的时候,我们就可以通过重定位的算法来实现与地图的匹配,然后对车身的姿态进行连续跟踪。一旦跟踪成功,我们就可以开启自主泊车的功能。

有些时候定位和SLAM也是耦合在一起的。比如可以通过Local map获得更好的观测来提升定位的效果,也可以通过定位时候的观测更新地图来获得一个更可靠的地图。SLAM和定位都需要使用车身自身的传感器,所以这个成本还是非常重要的。

从右边这张图我们可以看到,每个传感器都有自己的特点和适用的场景。我们的方案是将多个低成本的传感器融合在一起来实现定位,其中涉及到了4个鱼眼镜头、4个毫米波雷达、12个超声波雷达、来自车身的轮速传感器以及我们低成本的组合导航。这样一套方案的成本非常低,但是它可以覆盖绝大多数的场景。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是自动驾驶中的规划部分,大部分的自动驾驶方案采取的都是类似这样的规划:第一步是根据自车的位置向目标点规划一条全局的路径。这个过程和普通导航差别并不是很大。但是,在自主泊车寻找空车位的过程中,我们产生的通常不是最短路径,而是一条最有可能找到空车位的遍历路径,然后我们再通过局部路径的算法和决策的迭代来生成最终的规划轨迹。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

在决策中我们可以采取比较保守基于规则的策略。这种适用于规则比较简单明确的场景,也可以让系统从人类驾驶员这个专家数据中去学习,学习人类的驾驶习惯,也可以把这个算法放在模拟器里面通过增强学习的方式来学习。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这幅图是一个简单的迷宫任务,我们通过一个CNN的网络来学习专家规划出的路径。从这个结果中可以看到,绿色代表的是专家规划出来路径,红色代表的是网络学习之后自己规划出来路径。从中我们可以看出网络通过学习之后,会规划出一条和专家的策略类似但又不完全一致的一条路径。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

对于局部路径规划来说,停车场内的局部路径规划和道路上有比较大的不同。停车场内的很多区域比较狭窄,转弯也都比较急;对于人类的新手司机来说,也经常会发生各种各样的擦碰事故。

大家知道汽车的运动受到非完整性约束的限制,没办法进行原地转向。左边这张图是MIT在DARPA 2007城市挑战赛中的算法,主要是通过RRT的方式在状态空间中随机采样,然后再通过closed-loop在线模拟生成一条更优化的轨迹。

右图是CMU提出的方法,他在A*搜索的基础上面,把二维的搜索空间扩展到了三维的搜索空间,可以去覆盖不同的航向角。后面也有人提出了进一步优化,比如把曲率、速度、加速度都加到搜索空间里面,但是这样会造成搜索空间非常的庞大。

这两种算法都可以用在停车场里面,具体的细节大家可以去阅读一些相关的Paper。但是在具体实现的产品实现的时候,还是有很多的细节技巧可以来帮助提升整体的性能。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

最后我们再来系统地看一下纵目的方案。我们这里采用了4路环视摄像头,一个前视摄像头、一个非常低成本的IMU,大概是几个美金左右,还有4轮转动脉冲、方向盘转角是来自于车身,一个普通的GPS传感器、超声波雷达以及5个毫米波雷达。

可以看出这些都是非常低成本的,而且得到了广泛量产验证的传感器。低成本的传感器通常来说精度也都比较低,因此我们需要通过传感器融合算法来相互抵消这些误差。

对于传感器融合,要想得到一个好的效果,就需要把每个细节尽可能地做到极致。比如实现传感器的时钟同步就有好几种方式,如果每一个传感器都带来几毫秒甚至几十毫秒的误差,那整个系统就很难把效果做好。

再比如标定。标定的算法优劣也会对精度有一些影响,对普通的视觉功能来说,可能看不出特别大的差别,但是对于自动驾驶功能来说,经常就是失之毫厘,谬以千里。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是纵目APA自动泊车的架构,我们输入4路环视摄像头、超声波雷达以及车身传感器的数据,通过我们的APA ECU融合这些数据信息,然后做出相应的规划来向车身发出横向和纵向的控制指令。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是我们自主泊车的控制器架构。我刚才提到了我们和APA保持了非常相近的架构设计。这里只需要增加几个传感器,然后升级ECU就可以完成自主泊车的功能。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

在自主泊车的ECU中,我们采用了两个计算单元:高通的骁龙820A可以完成非常复杂的深度学习、SLAM、规划等算法的计算;恩智浦(NXP)的S32K可以来完成涉及功能安全的控制。

之前有很多小伙伴来问我们,说为什么我们会选择高通820,而不是其他公司芯片?我也想借这个机会来分析一下我们的想法。

首先,我们的软件和算法是跨平台设计的,很容易就可以移植到不同的硬件平台上面。但SOC并不是一个标准化的产品。另外,想把每个芯片的性能发挥到最佳的水平,就需要进行深度优化工作。这一点我非常感谢高通过去给我们大力的支持。我们和高通总部研发部门保持着密切的沟通。我们的想法也会得到及时的配合,甚至体现在下一代芯片设计之中。

第二,从战略的眼光来看,我们认为在自动驾驶中,单纯比拼计算能力的时间很快就会过去。因为我们看到,其实每家芯片原厂都已经具备了非常强大神经网络加速功能,最终比拼的还是综合能力,比如成本控制、生态构建甚至是公司文化。我们相信高通和恩智浦在汽车领域的决心和能力。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是我们产品的HMI设计,除了标准的车机导航之外,我们还会有一个手机的APP。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

除了车机和手机之外,我们还会有一个云端架构。在这个云端架构之中,我们可以和更多的停车场、地图数据、充电服务商等后台进行对接,还可以实现用户管理、安全认证、人车通信,对传感器的数据进行收集,然后再利用这些数据迭代来实现算法的更新、地图的构建、甚至未来的众包地图。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

这是我们的数据平台。在整个开发过程中,我们会利用自己的路测车辆采集大量的数据,这些数据会包含车身传感器的所有数据以及一些真值数据。同时,我们的每一个用户车辆也是数据采集平台。这些数据经过一些少量的人工干预之后,会送入到我们的深度学习平台进行训练,这样我们会得到更好的算法。同时,这些算法模型会更新到每辆车辆中,我们在通过这种方式形成有效的数据闭环,快速迭代我们的算法。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

在产品认证阶段,我们也有不同的方式来进行验证。首先,我们有一套针对停车场的环境以及我们自身的传感器架构定制的模拟器。我们可以把真实停车场的高精度地图以及路测数据导入到模拟器中,也可以定义各种各样不同的环境以及交通流。我们在这个模拟器的环境里面可以积累大量的测试用例。

我们也有自己封闭式的测试区。在每个版本发布之前,我们都会在封闭区内完成一系列的测试。我们会根据功能安全的分析,来设计各种各样的传感器失效场景以确认系统的鲁棒性,这些都会在封闭测试里面完成。

我们还将在开放的停车场里面进行路测。当然也是在符合国家法规的情况下,会根据实际的情况来生成具体脱离次数的检验报告。

在网络安全方面,我们也有互联网方面的安全专家来进行网络攻击的测试。

视频七(在车东西公众号回复关键字“视频”获取)

这个视频是我们专门为停车场环境所定义的模拟器。

【PPT下载】如何打造可大规模量产的自主代客泊车系统?纵目科技智能交通事业部总经理王凡给出了答案!

对于这些事情我们也有一整套的行动计划,我们在去年年底发布了自主泊车1.0,现在正在开发2.0的版本。我们的自主泊车车队会在今年积累到十万公里以上的路测数据,这些是我们在2018年需要做的事情。

到了2019年,我们会利用这些收集起来的数据来验证我们的系统。我们会和共享出行的合作伙伴一起来部署一万辆车。然后再利用这些车到路上去收集更多的数据,这样我们可以快速积累到上百公里的路测数据,之后通过这些数据来迭代产品的性能,验证我们的可靠性。我们相信在这之后主机厂的相关车型也会逐渐导入量产,而这个时间点大概是在2020年。

最后再来总结一下,对于大规模量产的自主泊车方案来说,成本是非常重要的,但是安全更加重要。要用低成本的传感器来实现高水平的感知和定位能力,必须要有足够的传感器融合能力,这里不仅包含软硬件以及融合算法,并且还要一整套开发验证的流程来支撑。

Q&A环节

提问一
顾帅-上汽-视觉算法工程师

1、有什么比较好的通用型方案,可以适用于目前不同场景下自主泊车?
2、目前视觉能否解决光线影响的鲁棒性问题?

王凡:1、其实我刚才也已经讲了,不同的传感器有不同的特点,如果使用单一传感器难免会在某些功能Case下会失效,所以最好的方式是进行传感器融合。
2、这要从几个方面来看:
从传感器来说,我们需要采用尽量有具备高动态和低光照能力的摄像头。
从算法角度来说,我们需要设计对光线进行鲁棒性很好的算法。
从系统的角度来说,有些情况我们是不可避免的,比如在完全没有光照的情况下,我们可以利用其他的一些传感器,比如毫米波雷达来实现一些基本的功能。如果在条件确实非常恶劣的时候,我们可以判断出无法开启这些功能,也可以关闭自动驾驶并停车,来提示用户进行接管。

提问二
胡新桂-Telenav-自动驾驶工程师

1、在自主泊车中使用深度学习吗?若使用,据我所知,纵目都是使用高通芯片,能达到实时性吗?
2、纵目的自主泊车在光线不好和无GPS的地下车库,如何定位和规划路径?
3、大家都知道国内尤其大城市,地下车库都有好几层而且停车比较多,如何找到一个空车位并停进去?

王凡:1、首先,我们确实是在自主泊车的功能中大量使用深度学习,对于摄像头的检测,包括可通行区域、车位线、车辆、行人等等检测都是通过深度学习来实现的。
对于高通820芯片的计算能力,我们自己实测的计算能力大概能够达到1.2Tops,可以看出计算能力还是相当不错的。高通820A里面有GPU、DSP都可以实现深度学习的计算,可以达到很好的实时性。
2、这主要还是一个定位的问题。我刚才也说了,我们确实也遇到过一些光线不好的情况,这比较考验的主要是传感器以及算法的鲁棒性,我们曾经在一些停车场里进行测试,而这些停车场到晚上的时候是会关掉百分之九十的灯光,但我们依然可以进行比较稳定的定位,这就说明我们算法的鲁棒性还是非常好的。在地下停车场中,因为没有GPS,所以我们主要定位的方式是通过自身的传感器,其中主要是摄像头。未来我们还会加入毫米波雷达、超声波雷达这些定位方式。
3、首先我们有整个停车场完整的地图,可以通过停车场的道路来规划一条遍历的路径。通过我们的传感器,我们可以在行驶的过程中去搜索空车位。而对于专用车位,我们会在地图中进行标识。
同时,我们现在也在和国内一些比较主流的停车场管理方进行合作。我们会把他们的停车位空闲位置信息加入到我们的系统云端,这样我们的车就可以知道哪里有空闲车位,甚至我们可以预约一个空闲车位,可以极大地改善我们的体验。

提问三
文杰-华域汽车-工程师

1、代客泊车量产的方案怎么考虑到随着车辆的增多系统的承载量问题?怎么考虑大容量的实时问题?以及从通讯层面来说怎么考虑到信息安全的问题?
2、代客泊车在Gps信号缺失,传感器受到干扰的情况下,怎么实现代客泊车的?是采用slam吗?
3、主要架构是用超声波和视频融合一起做的吗?

王凡:1、我们现在的自动驾驶方案在终端有很强的计算能力,比较少依赖云端的计算和通讯,所以我们对云端的负荷并不是非常的重。随着越来越多自动驾驶的车辆引入之后,云端的容量必然需要扩大。我们也看到现在互联网技术发展非常快。对于移动互联网来说,它的容量要求远远比自动驾驶汽车的要大,所以我觉得这个应该不是问题。

在通讯层面上,未来5G的或者是V2V,V2X增加上来之后,肯定可以提升很多自动驾驶方面的体验。信息安全方面,肯定是所有公司需要非常重视的,从产品的设计出发以及各种各样的网络安全测试出发都是需要做好的。

2、在停车场里面确实是没有GPS的,我们需要通过定位技术实现在停车场内的地图定位。像刚才讲到的,我们首先需要对停车场建立一个地图,然后利用地图定位算法实现定位。而定位所使用的传感器会包含视觉传感器、毫米波雷达传感器以及里程计的这些数据,这是一个最终融合的结果。如果停车场里面没有这个地图,我们可以通过SLAM的技术来构建这个地图。

3、我们是超声波和视觉融合做的,但也不完全是,我们还会融合其他的一些传感器,包括毫米波雷达、GPS、IMU。为什么要有GPS呢?比如你在户外的时候,你可以通过GPS知道自己的初始位置。当你进入到停车场的时候,我们可以知道它在停车场的初始位置。

提问四
韩伟斌-上汽-视觉工程师

1、请问下环视库位检测的检测帧率能有多少?
2、库位检测的准确率、召回率有多高?

王凡:1、对于帧率,我们认为并不需要非常高,可能每秒钟五帧左右就已经足够了。

2、和第一个问题相关,在运动的过程中,只要在它的视野范围之内,我们会对同一个车位连续进行检测。所以,即便可能有单帧检测不出来的情况,那在整个运动过程中,它总的检测准确度还是非常高的。你说到准确率和召回率涉及到一个数据集的问题,因为目前缺少一些标准的数据集,所以我现在说的这些答案也不能有代表性。

提问五
韩永顺-比亚迪-软件工程师

主机厂一般都有相关的传感器,例如360环视摄像头、雷达的,如何说服主机厂开放或者如何共用这些传感器呢?

王凡:我们现在看到的有很多自动驾驶的整体架构是由主机厂来主导的。但主机厂也会来听取我们不同供应商的意见。在过去,比如两年前,我们和主机厂打交道的时候,主机厂也会说一些问题,比如博世的ESP接口是不开放的,我们如何进行控制。但在今天,我们可以看到越来越多的趋势是向着开放的这个方向在发展的。

提问六
李工-宝沃汽车-驾驶辅助工程师

自主泊车大规模量产的话,过程中发生的事故,由谁负责,泊车系统开发商还是整车厂?

王凡:这个问题不仅是自主泊车,而是所有自动驾驶产品都会面临的,很有可能会由新的保险类型来解决。