智能网联汽车测试场景三维评价模型研究

田思波 郭润清 樊晓旭 童宝锋

摘  要：测试驱动型开发是智能网联汽车技术发展的重要路径，而测试场景作为测试驱动型开发过程的核心要素，需要建立科学合理的建模和分类方法。首先，从应用层面定义了智能网联汽车测试场景的三个评价指标;其次，提出了测试场景评价的三维建模与评价方法;最后，结合具体应用案例分析了测试场景三维评价模型的应用场景。提出的测试场景三维评价模型对智能网联汽车的测试与评价具有重要指导作用。

关键词：智能网联汽车;测试场景;三维模型;测试与评价

中图分类号：U467.1       文献标识码：A       文章编号：1005-2550（2020）01-0046-05

Three-dimensional Evaluation Model Research on Test Scenario  of Intelligent and Connected Vehicle

TIAN Si-bo1，2， GUO Run-qing1，2， FAN Xiao-xu1，2， TONG Bao-feng1，2

（ 1.Shanghai SH Intelligent Automotive Technology Co， Ltd， Shanghai 201804， China;

2. Shanghai International Automobile City Group Co.， Ltd， Shanghai 201805，China）

Abstract： Test-driven development is an important path for the technology development of intelligent and connected vehicle， as the key element of test-driven development， test scenario need to be established scientific and reasonable modeling and classification method. Firstly， three evaluation indexes of intelligent and connected vehicle test scenario are defined from the application level. Then， three-dimensional modeling and evaluation method are proposed. Finally， the application scenarios of three-dimensional evaluation model of test scenario are analyzed with specific application cases. Three-dimensional evaluation model of test scenario proposed will have great impact on test and evaluation of intelligent and connected vehicle.

前言

近年來，中国智能网联汽车在国家产业政策和新技术的推动下迅速发展。智能网联汽车技术的发展需要科学完整的测试验证和评价体系的支撑[1，9]，而测试场景则是测试与评价体系的基础。智能网联汽车的技术研发依赖测试驱动型开发体系[2]，由于目前还很难形成智能网联的正向研发体系，这就更凸显了测试场景的重要性。

由于测试场景的重要性，国内外学者对测试场景进行了大量的研究。Ulbrich S.等从多个维度分析了测试场景的术语定义，并且建议自动驾驶领域要能够保持测试场景术语定义的一致性和连续性[3]。Go K.等指出测试场景在不同的环境下有不同的用途，但是场景描述的元素都是一致的[4]。Bagschik G.等提出了一种潜在危险场景生成方法用于风险评估[5]。Menzel T.等从描述层面将测试场景分为三种类型：功能场景、逻辑场景和具体场景[6]。Galen E.等提出了一种基于性能表现边界发现与识别的自动驾驶挑战性和多样性测试场景的生成方法[7]。但是，针对自动驾驶测试场景，目前研究缺少从应用层面科学合理的测试场景分类和评价的方法。

本文首先从应用层面定义智能网联汽车测试场景的三个评价指标，然后根据三个评价指标建立三维智能网联汽车测试场景评价模型，最后介绍智能网联汽车测试场景三维评价模型的具体应用。

2    智能网联汽车测试场景主要评价指标

智能网联汽车测试场景是指与测试相关的外部场地、道路、气象和交通参与者以及车辆自身的驾驶任务和状态等信息的集合，主要用来考察智能网联汽车相关自动驾驶功能及相应的性能表现。

2.1   智能网联汽车测试场景基本要素

智能网联汽车测试场景的基本组成要素主要包含以下四个方面[8]（如图1所示）：1）战术操纵行为是指相应测试场景下需要执行的驾驶任务;2）设计运行域（Operational Design Domain， ODD）是指自动驾驶系统功能定义的测试运行范围;3）事件探测及响应是指相应测试场景下自动驾驶系统需要探测的物体或者事件以及应做出的响应;4）失效模式是指相应测试场景下自动驾驶系统测试失败的可能表现形式。

2.2   智能网联汽车测试场景主要评价指标

智能网联汽车测试场景主要用来考察智能网联汽车相关自动驾驶功能及相应的性能表现。基于智能网联汽车测试场景的基本组成要素，本文提出了智能网联汽车测试场景的三个主要评价指标：复杂度、性能表现和危险度，如图2所示。其中，复杂度主要是指智能网联汽车自动驾驶任务的难度和交通环境的复杂度;性能表现主要是指智能网联汽车自动驾驶任务的完成度、对交通效率的影响和乘坐舒适度;危险度主要是指智能网联汽车功能失效对人和车辆造成的危害。通过这三个评价指标可以对智能网联汽车测试场景进行一个全面综合的评价。

3    智能网联汽车测试场景三维建模

下面对智能网联汽车测试场景基本要素和主要评价指标的关系进行阐述，如图3所示。战术操纵行为决定了测试车辆要执行的自动驾驶任务的复杂程度，设计运行域则决定了测试车辆完成自动驾驶任务所运行的驾驶环境复杂程度，因此，战术操纵行为和设计运行域共同决定了测试场景的复杂度评价指标;事件探测及响应体现了测试车辆在相应的驾驶任务下对道路交通参与者或者障碍物的响应，反应了测试车辆的完成相应自动驾驶任务的具体性能，因此，事件探测及响应决定了测试场景的性能表现评价指标;失效模式体现了测试车辆在执行自动驾驶任务时可能出现的功能失效或任务失败的具体形式，以及可能造成的危害，因此，失效模式决定了测试场景的危险度。通过以上分析可以看出，对于智能网联汽车测试场景来说，复杂度、性能表现和危险度三个评价指标是相对独立的。

根据智能网联汽车测试场景三个评价指标的相对独立性关系，可以建立智能网联汽车测试场景三维模型，如图4所示，其中，复杂度、性能表现和危险度分别为测试场景三维模型的三个坐标轴。每一个坐标轴均代表相应指标的具体表现，且均为正值，这样每个测试场景都可以从建立的三维模型第一象限空间中找到自己的位置，从而可以从三维空间的角度对测试场景进行全面综合的评价。

根据当前智能网联汽车的发展阶段，目前还无法对测试场景的评价指标给出一个相对定量的数值。因此，本文是采用定性方法对测试场景进行评价，把建立的三维模型的第一象限空间划分为8个正方体（如图4所示），这样每个相邻正方体之间仅有一个评价指标之间的变化，很容易进行不同测试场景之间的横向对比分析，从而可以有效提高测试场景的分类和使用效率。

4    智能网联汽车测试场景三维评价模型应用

4.1   测试场景分类方法

根据智能网联汽车测试场景三维评价模型，对于任何一个测试场景，首先从复杂度、性能表现和危险度三个维度进行评价。从定性分析角度，三个评价指标均用高和低两个定性指标进行评价分类，这样测试场景三维评价模型所划分的8个正方体的每个正方体所对应的评价指标的关系如表1所示：

根据图4和表1可以看出，如果某一测试场景位于1号空间内，则表明该测试场景的复杂度、性能表现和危险度均相对较低，如果位于7号空间内，则表明该测试场景的复杂度、性能表现和危险度均相对较高。因此，对于三维空间内的任何一个测试场景，都可以找到其对应的三维评价指标。

4.2   测试场景三维评价模型应用案例

下面将通过几个典型测试场景的分类案例，结合测试场景三维评价指标的定义，介绍测试场景三维评价模型的应用方法。

1.自车U型掉头测试场景（图5所示），对自动驾驶汽车来说，该测试场景的复杂度较低，性能表现相对较低，危险度同样较低，因此，该测试场景应该被划分在1号空间内。

2.自车躲避连续障碍物测试场景（图6所示），对自动驾驶汽车来说，该测试场景的复杂度较高，性能表现相对较低，危险度同样较低，因此，该测试场景应该被划分在2号空间内。

3.自车遇到有遮挡行人横穿马路测试场景（图7所示），对自动驾驶汽车来说，该测试场景的复杂度较高，性能表现相对较高，危险度同样较高，因此，该测试场景应该被划分在7号空间内。

4.自车探测并避让对向来车测试场景（图8所示），对自动驾驶汽车来说，该测试场景的复杂度较高，性能表现相对较低，危险度同样较高，因此，该测试场景应该被划分在6号空间内。

通过以上四个测试场景的分类案例可以看出，对于任何一个测试场景，我们都可以在测试场景三维评价模型中找到其对应的空间位置。而不同空间位置代表的含义各不相同，因此，在测试场景实际应用过程中，可以根据我们的测试需求从相应的三维空间中找到合适的测试场景。当前阶段，安全性是智能网联汽车研发所关注的首要因素，因此在智能网联汽车的测试与评价过程中，我们应当对5，6，7，8号空间内的测试场景给予更多的关注。对于1，2，3，4号空间内的测试场景，我们应该根据研发测试需求进行选择，比如1号空间，测试场景的复杂度低，但是性能表现却相对较差，我们就需要进行特别关注，有助于进行技术的迭代升级。

5    结束语

当前智能网联汽车的技术发展离不开测试驱动型开发，而测试驱动型开发又需要科学合理的测试场景。本文提出了用于智能网联汽车测试驱动型开发的测试场景三维评价模型，并对三维评价模型的应用进行了案例介绍。本文提出的测试场景三维评价模型意义如下：1）根据三维评价模型，有利于对现有测试场景进行科学合理的分类;2）利用三维评价模型，可以高效选择测试评价所需测试场景和测试用例，提高测试评价的效率。下一步需要根据建立的三维评价模型，对相应测试场景三维评价模型的评价指标进行量化研究。

参考文献：

[1]李克强，戴一凡，李升波，等. 智能网联汽车（ ICV ） 技术的发展现状及趋势[J]. 汽车安全与节能学报，2017，8（1）： 1-14.

[2]Li Li， Yilun Lin， Nanning Zheng， et al. Artificial Intelligence Test： A Case Study of Intelligent Vehicles[J]. Artif Intell Rev， 2018， 50：441–465.

[3]Ulbrich S.， Menzel T.， Reschka A.， et al. Defining and Substantiating the Terms Scene， Situation， and Scenario for Automated Driving[C]//IEEE 18th International Conference on Intelligent Transportation Systems （ITSC）. Las Palmas， Spain： IEEE， 2015.

[4]Go K.， Carroll J. M.. The Blind Men and the Elephant： Views of Scenario-based System Design. Interactions， 2004， 11（6）： 44-53.

[5]Bagschik G.， Reschka A.， Stolte T.， et al. Identification of Potential Hazardous Events for an Unmanned Protective Vehicle[C]// IEEE Intelligent Vehicles Symposium. Gothenburg， Sweden： IEEE， 2016.

[6]Menzel T ， Bagschik G ， Maurer M . Scenarios for Development， Test and Validation of Automated Vehicles[C]//IEEE Intelligent Vehicles Symposium. Changsu， China： IEEE， 2018.

[7]Galen E.， Paul G.， R. Chad， et al. Adaptive Generation of Challenging Scenarios for Testing and Evaluation of Autonomous Vehicles[J]. The Journal of Systems and Software， 2018， 137：197-215.

[8]J3016. Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems[S]. Society of Automotive Engineers （SAE）， 2016.

[9]陳龙. 基于多源数据挖掘的汽车智能驾驶系统有效性评价[D]. 北京：清华大学， 2017.