北京航空航天大学教授、中国人工智能学会智能驾驶专委会主任邓伟文:汽车自动驾驶仿真测试的关键技术
2021年9月3日-5日,由中国汽车技术研究中心有限公司、中国汽车工程学会、中国汽车工业协会、中国汽车报社联合主办,天津经济技术开发区管理委员会特别支持,日本汽车工业协会、德国汽车工业协会联合协办的第十七届中国汽车产业发展(泰达)国际论坛(以下简称泰达汽车论坛)在天津市滨海新区召开。本届论坛围绕“融合•创新•绿色”的年度主题,聚焦行业热点话题展开研讨。
在9月5日 “前沿瞭望:创造智能汽车新体验”中,北京航空航天大学教授、中国人工智能学会智能驾驶专委会主任邓伟文发表了题为“汽车自动驾驶仿真测试的关键技术”的演讲。
北京航空航天大学教授、中国人工智能学会智能驾驶专委会主任 邓伟文
以下为演讲实录:
各位同仁,大家好,我今天给大家报告的题目是《汽车自动驾驶仿真测试的关键技术》。
我们知道智能网联化是颠覆汽车的一场技术革命,使得汽车从传统的机械系统、机电一体化系统向信息化、智能化和网联化的根本转变。这个转变带来的另一个重大的挑战就是行驶环境成为了汽车,也成为了驾驶的一部分。而行驶环境复杂多变不确定,不可预测也不可穷举,由此带来的安全可靠性测试验证和评价成为了一个长期的挑战。
安全可靠性是智能网联汽车最为重要的一个前提,不同于人的驾驶,人们对于自动驾驶安全可靠性的期望要更高,因此如何测试验证汽车自动驾驶系统的安全可靠性。我们知道事故的出现,往往是边界条件和小概率条件,需要大样本和长周期的测试,这个长期测试从量级上来看就很难实现,因此我们就需要创新的测试验证方法和工具。仿真测试已经被越来越多地认为是未来汽车自动驾驶不仅从开发包括测试验证评价的一个主流趋势。这个从Waymo这些年发展的过程来看可以得到验证,Waymo现在的仿真里程数已经超过了150亿英里,而它的道路测试里程数才两千万公里,不在一个量级上面,因此我们可以认为仿真测试加上少量的场地测试和开放道路测试,会构成未来汽车测试、验证和评价的主要手段与方法。
汽车自动驾驶系统从概念上讲总的包含几个方面,可以归纳成类似人的感官、肌肉,中间是大脑。如何测试自动驾驶的算法,包括软硬件,很重要的一块就是反映这个世界的复杂性,以及工况里面的极端边缘的情景。仿真实际是把世界虚拟化,通过数字建模,通过渲染,计算机图形学等等手段,使得我们能够较为逼真地反映这个真实世界,这种场景建模。然后通过传感器建模,使得这个数据映射给我们的自动驾驶软硬件开发,这样构成了“建模-测试-验证-评价”这么一个闭环系统,这个系统可以进一步支撑ADAS开发,包括自动驾驶的开发。这个包含了场景的模型,传感器不同的模型,以及车辆动力学的模型。
场景是里面关键的因素,包含行驶的场合,包含环境的影响,当然也跟我们在这个场合里面,在这样的环境下,我们的驾驶情境是什么相关?场景影响的关键因素是传感因素,传感总体来讲分成几大类,像雷达,相机,还有基于无线通讯的V2X,雷达有超声波、毫米波、激光等等不同的介质,所以我们可以把世界从不同的维度,它的几何特征、物理特征,还有一些图象特征、概率特征进行映射。
场景同样包含五层结构,最底层的结构是道路拓朴结构,这里面包含场景,它的基本要素是什么?道路拓朴还有一些静态结构,这个里面可以看到像道路的结构、周边的行驶环境、人,还有一些交通标志等等。进一步可以构建道路里面像道路的车道线检测,比较关键的,像纹理、道路的磨损、污渍、印记等等这方面的影响。这是我们开发的系统,能够反映城市工况、乡村工况包括天气光照影响等等。
这个是我们的一个使用实例,通过航拍构建,采集道路信息,特别是纹理信息,然后在计算机上构建虚拟的场景。同样我们可以通过地图导入,大规模自动生成这个场景。这个是我们为德国戴姆勒构建的地图生成场景的工具。
道路结构是影响自动驾驶的关键因素,像这个图里可以看到污渍、印记、磨损等等对车道性的检测,对道路行驶非常重要。下面是天气光照季节性的影响,它也是动态影响因素。
动态影响的核心关键是交通,汽车行驶里面主要的安全隐患来自于周边行驶的交通。交通里面我们特别关注的是一些边界条件,极端的异常的交通工况,包括人车混杂的,还有一些危险的。当然我们也希望反映中国人驾驶的特征,这个是我们的交通模型很关键的一块。异常和边缘交通建模是不同于传统上的交通模型很重要的一块,传统的像SUMO等,更多的反映典型的、正规有序的、符合西方驾驶特征的交通驾驶场景,固然它对于自动驾驶测试有帮助,但是我们更多希望关注从自动驾驶角度讲这些异常的、边缘的情况,这个是汽车自动驾驶潜在的事故出现的主要场景。当然另一个是基于驾驶数据,通过数据驱动来建立交通模型。特别是这个中国人的驾驶特征,往往不同于西方,对于我们的自动驾驶算法开发也非常有帮助。
这个是我们做的一些实例,反映交通流的影响,在十字路口、交通对开,还有混杂交通可以看到不同的影响,特别是像这种匝道进入,十字路口人、车,包括左转弯这些彼此之间的博弈关系,这种无序的交通场景。另外一个是交通干扰。有意地产生一些强干扰,测试自动驾驶算法的鲁棒性。包括单车多车行人还有“鬼探头”等。
场景里面其中另一个是驾驶的情景,我们在这里面的驾驶任务是什么?换道、超车还是泊车等等,这个和自动驾驶的速度有关,加速度有关,当然和驾驶模式保守、激进、还是一般有关,这些都对于行驶影响非常重大,特别是对于安全是一个很关键性的因素。最上层是自然驾驶员模型,这个模型我们实际上是希望开发出一个涵盖感知决策规划和控制系统自动分层的系统来支撑自动驾驶的开发。作为驾驶动态情景里面一个可量化的模型来支撑对于测试场景的测试和评价。
另外一个就是数字交通设施,这个里面包括无线通讯。天线、信道,包括网络建模等等。这些反映出行驶环境里面五层结构里面最上层的结构,越来越多支撑车路协同,包括网联系统的开发等等。前面的场景更多的是为传感系统提供输入。最终是传感器的数据送给我们的自动驾驶的数据处理,包括算法的开发,所以传感模型是决定整个仿真系统的一个关键因素,包括像超声波、毫米波、激光、相机,包括定位、IMU以及无线通讯、数字地图等等模型。这里给些例子介绍之前做过的工作。
相机建模是基于系统参数化的一个建模方法,反映相机里面像畸变、噪声、视差、模糊、光学暗角等等,包括鱼眼相机、广角相机,单目、多目。相机建模实际上和图象模拟是相关联的。包括镜头的影响,交通的因素以及天空的因素等等影响,同样也构建了相机标定的实验室来支撑。
雷达是另一个普遍使用的传感器,通过发射电磁波回收检测目标,这个里面除了波束的模拟之外,天线的建模对于它的时域信号,以及经过傅利叶进行频域信号的模拟。另外一个是目标的RCS,这个是雷达建模里面很关键的一个指标。主要反映的是信号衰减问题。这里面很大程度上跟目标的形状大小,还有特别是材质,还有波束的入射角等等相关。传统的方法基本是基于有限元的方法,比如说FEKO的商业软件,但是从这个仿真的实施性角度来看,很难支撑我们的实时仿真。所以我们在这方面做了不少的工作,提出了基于等效的ARD的模型来估算RCS,也取得了和FEKO非常接近的仿真精度,但是效率可以做到毫秒级的建模。
超声波雷达是现在目前特别是自动泊车里面常用的传感器,反映的声波的模型和信号衰减模型等等,反映声音声波传播过程对音速的影响,还有目标模型等等。另外,我们也正在构建超声波的标定实验室,进一步的提升超声波传感器的模型精度。
定位是另外一块,我们提出一个是建立星际定位模型,除了反映卫星轨道的影响因素以外,像电离层、电解层对通讯信号的衰减的影响之外,还有遮挡模型、误差模型等等。
在此基础上我们打造了自主品牌,叫做PANOSIM,来应对智能网联汽车面临的安全可靠性测试里面的关键挑战。这里面包括一些刚需和痛点需求。从两个方面:一个是工具链的方面,提出了仿真的测试平台,另外就是虚拟测试的场景库,也就是从数据链的层面来试图应对现在行业面临的挑战。
场景库这块主要是基于虚拟图象,构建基于人工图象的大量数据集,形成虚拟的场景库,支撑我们基于深度学习算法的开发。包括自动标注,自主测试等等。当然同时包含了支撑云端一体、虚实融合的仿真测试。
工具链这块除了不同的车辆动力学、传感器、交通、场景等等,我们打造了一个围绕着测试实验,包括感知决策开发的工具链,基于云端的分布式多节点,来支撑整个自动驾驶的验证,包括评价的仿真工具链。这个工具链同样支撑高效的实时的XIL,驾驶员在环、车辆在环的仿真,在行业里面对于感知、决策、规划和控制的方方面面的测试和验证。这个系统进一步可以支撑大规模的分布式的、多节点的仿真测试,来支撑对于模拟车辆里面的大量的多路传感,同时在实验室平台里高效的、高精度的测试验证。这个是提供适配数据处理器的数据格式,包括图象格式、雷达、激光、定位、IMU等等,直接能够兼容支撑车载平台,包括电子架构的,在实验室化学下的开发和测试验证。
V2X的模组,包括在仿真器和适配器接入在系统环境里面,打造一个V2X在环的实时仿真的平台。这个是为企业做的实例。通过V2X解决盲点的检测,包括行人避撞,前方预警等等这么一个V2X仿真平台。
这个系统同样也是一个开放式的架构,为自动驾驶的二次开发,三方的集成提供算法、传感器、场景、交通模型以及评价模型,构筑他们自己模型的建造,所以这是一个开放架构,支撑不同供应商的不同模型的接入,这样为测试评价提供了高效和便利的工具。最后是我们为整个自动驾驶从工具和产品性能这块提供了完整全方位的支撑。这是一体化的仿真测试品牌,目标是打造自主品牌,实现自主可控。
我的报告就到这谢谢各位。