自动驾驶汽车感知系统测试用例构建方法研究

文/王潇屹 李俊成 马雪寒

为了实现自动驾驶汽车的落地应用，测试验证将作为产品研发和认证过程中不可或缺的重要环节。针对自动驾驶汽车，常见的基于场景的测试方法有：模拟仿真测试、封闭场地测试、开放道路测试。无论哪一种测试方法，由于驾驶场景的复杂性，都面临着海量的测试用例。为了找出不同场景中的共同规律，进行测试场景设计，《自动驾驶测试场景工程框架》（ISO/DIS 34502）标准草案中对面向安全评估的场景生成流程、场景框架结构、数据库存储与接口架构、逻辑场景参数和道路交通参数选取等内容作出了规定。为了系统研究在不同驾驶环境下，自动驾驶汽车各个子系统（感知、决策、执行等）的性能局限性和人为误作用造成的自动驾驶安全问题，《道路车辆预期功能安全》（ISO/PAS 21448:2019）[1]标准提出了基于特定场景寻找不安全触发条件的思想，形成了自动驾驶系统开发、测试验证和改进体系的方法论。中国智能网联汽车产业创新联盟预期功能安全工作组（以下简称“联盟工作组”），在上述研究的基础上提出了适合自动驾驶预期功能安全研究的7层场景库架构，并开展了针对感知系统性能局限性的研究。但是，关于自动驾驶感知系统在7层场景库架构下如何设计试验、开展试验的研究还比较少。本文将重点研究如何用尽可能少的试验，覆盖更多的关键场景，找到特定场景下影响自动驾驶感知系统的关键因子和参数指标。

一、预期功能安全7层场景库架构

为了加速自动驾驶功能开发与落地，包括奥迪、宝马在内的欧洲汽车工业领域17家企业和组织合作发起了Pegasus项目，该项目提出了场景构建的6层架构。在此基础上，联盟工作组提出了预期功能安全场景7层架构，即在上述6层架构上加入了第7层“自车状态”，并通过研究提取、分类、归纳各种实际驾驶环境特征，基本覆盖了所有自动驾驶车辆可能遇到的所有预期功能安全场景特征（见表1）。通过对7层架构进行二级、三级分层细化，将产生近300条的场景参数，考虑到场景参数泛化和交互关系，全场景测试数量变得异常庞大。因此，在自动驾驶系统开发过程中，测试人员需要考虑感知、决策、执行系统不同的考核指标，找到7层架构中不同场景对其有重要影响的参数，进行更有针对性的测试。

表1 预期功能安全7层场景库架构

二、测试用例构建方法的选择

构建测试用例的目的是进行试验验证，故遵循试验研究的思路，试验研究可分为试验方案设计、试验方案开展实施、数据收集整理和数据分析研究等步骤[3]。试验方案设计是影响研究成功与否最关键的一个环节，是提高试验质量的重要基础，在本研究中即为测试用例的构建方法。

在测试用例构建中，测试人员常常需要同时考察3个或3个以上场景元素对自动驾驶系统的影响，若进行全面试验，则试验的规模将很大，往往因试验条件的限制而难以实施。比如，4因子3水平的全交试验需要做81次试验，5因子4水平的全交试验则需要做1 024次试验，这显然是不划算的。

因此，本文采用正交试验设计方法构建测试用例。利用正交表，以部分实施代替全面实施，用尽可能少的试验次数覆盖尽可能多的考核水平。利用正交试验设计，同样4因子3水平的试验只需要做9次试验，而5因子4水平的试验只需要做16次试验，有效降低了试验次数。

测试用例构建方案的设计流程为：试验目的与要求→试验指标→选因子与定水平→因子、水平确定→选取合适的正交表→列试验方案。

三、感知系统测试用例的设计

驾驶员的感知是通过眼睛等器官去观察收集的，经由大脑处理判断后，对环境或事物形成的认知。相对应地，自动驾驶感知系统也存在两个过程，它们分别是：通过摄像头、激光雷达、毫米波雷达等感知系统中物理器件固有性能的感知过程和经过一系列算法处理的认知过程。其中，基于物理器件固有性能的感知过程易受到雨、雪、雾和光等环境的影响；基于算法处理的认知过程会因目标识别物的大小、形状、个数、颜色与背景的色差，造成误识别与漏识别。

基于上述试验方案设计流程和感知系统的工作原理，本文将开展本次感知系统测试用例方案设计。

1. 明确试验目的与要求

本次试验的感知系统包括以摄像头、激光雷达、毫米波雷达等为基础的单一传感器或融合传感器。试验的目的是考察感知系统在静止状态下，受雨、雪、雾等天气影响，识别前方交通参与者的能力。

2. 选取试验指标

感知系统的输出是决策系统的输入，是智能驾驶系统可靠性的重要一环。决策系统需要感知系统准确、稳定、及时、全面地输出目标类型、目标运动参数，并精确给出目标和本车的相对位置。上海机动车检测认证技术研究中心有限公司前瞻技术部门和联盟工作组相关研究小组根据感知系统的国内外标准和实际试验结果，研究整理出感知系统在特定场景下的评价指标（见图1）。在本次试验中，测试人员考虑到对于目标物的识别处于静止状态且较为单一，故选取准确性指标中的查准率、识别精度，精确性指标中的差值计算、比值计算，稳定性指标中的跳动次数和及时性指标中的上报延时作为本次试验考核的指标。

图1 特定场景下感知系统评价指标

3. 选因子与定水平

测试人员梳理预期功能安全7层场景库架构中对感知系统有重要影响的因子，最终筛选本次试验的因子为4层交通参与者中的行人，5层气候环境中的天气、光照；再根据选取的因子，选取具有典型性的水平（见表2）。

表2 选取确定因子下合适的水平

4. 选取合适的正交表

测试人员考虑到各因子水平相同，并且各因子间无交互作用，因此选择普通5因子4水平正交表L16（45）。

5. 最终的试验方案

最终的试验方案见表3。

表3 试验方案表

通过正交试验设计方法进行自动驾驶感知系统测试用例的设计，可有效减少测试用例数量，与全面试验相比，测试用例数量减少了98.5%，达到用尽可能少的试验次数获得更多试验结果信息的效果。正交试验设计方法适用于因子间无交互作用的测试用例设计。

四、结 语

本文基于感知系统的考核评价指标，研究了在有限的试验条件下如何选取合适的试验水平和因子，进行测试用例设计。测试人员采用正交试验设计思路，设计了一组测试气候环境影响下感知系统对交通参与者的感知测试用例。与全面试验相比，正交试验将大大减少测试数量，从而达到用尽可能少的试验次数，获取更多试验结果信息的效果。