基于多支柱的自动驾驶汽车测试评价体系构建方法概述

王韦清

摘 要：如何客观准确的对自动驾驶汽车功能、性能进行测试评价，已成为其准入和上路通行落地最需要解决的问题。本文基于多支柱法，对安全性、合规性、智能性等多维度的自动驾驶汽车测试评价体系构建方法进行了概述，并对评价指标组合、解耦及计算阈值求解、迭代方法进行了分析。

关键词：自动驾驶汽车；多支柱法；测试评价体系；阈值计算

中央级公益性科研院所基本科研业务费专项资金资助项目 ： 面向自动驾驶准入的交通安全场景库及仿真测试技术研究（111041000000180001220302）

目前，自动驾驶汽车技术日益成熟，但大规模商业化落地前仍面临诸多挑战，如何验证自动驾驶汽车多维功能性能的安全性、合规性以及可靠性等方面尚未有系统、完整的方案。国际上对于智能网联汽车的测试评价采用的多支柱法[1-2]测评体系已获得广泛共识，是在封闭场地和开放道路测试出现效率低、成本高且无法遍历所有测试场景时，综合高确定性、高置信度、高可靠性的仿真模拟的保障复杂自动驾驶系统合理验证与评估的方式。

1多支柱如何实现协同测评

从仿真模拟、封闭场地至开放道路，测试覆盖的范围和功能逐渐减小，而真实交通场景出现概率和评价维度反之。基于仿真测试和封闭场地测试的评价结果，可以不断完善评价准则和测试场景库。其中封闭场地测试承担承上启下的作用，对于高危险性、低概率、复现难度大的场景可以进行功能和性能的测试评估，其测试精度可控的特点能够最大程度保障自动驾驶性能真实评价，可以验证仿真和道路测试的准确性。开放道路测试覆盖了日常典型驾驶场景且具有偶发性，能够对自动驾驶系统应对真实交通状况的能力进行评价，通过开放道路测试得出的危险场景，可以反馈到仿真测试中，有针对性的去迭代场景参数。而仿真测试场景覆盖度最大，能够复现各种可能性的场景、测试自动驾驶系统的决策控制能力，避免问题进入场地道路测试环节，降低风险，是自动驾驶汽车安全上路的必要条件。三者之间互相补充，形成测评闭环，共同促进自动驾驶汽车的研发和标准体系建立。

2多支柱测评体系的构建

2.1场景选取和搭建

基于自动驾驶汽车ODC覆盖的方法和不同场景的关键影响因子设计测试方案[3]，确定测试规则和通过条件。通过中国道路运行特征及通行规则分析，基于收集的自然驾驶、事故调查和道路测试等多源异构数据[4]进行关键要素提取，得到逻辑场景。将场景划分出不同道路类型、交通标志标线、天气环境状况、车辆通行状态等层级，每一层级可以细分，如道路相关场景可分为高速、城市道路、窄路窄桥、匝道、环岛、隧道等，道路又可以进一步考虑曲率、坡度、破损度等特征对自动驾驶汽车功能性能的影响。通过道路设计、交通流分析、实际道路场景分析等方法，构建基于道路交通情景的测试场景。

在仿真场景搭建中使用较为频繁的有PreScan、VTD、Vissim等平台，通过构建复杂的交通环境，编辑交通标志标牌、树木和建筑物等基础组件，模拟机动车、自行车和行人等交互行为，修改雨、雪、雾等天气条件以及能见度来构建丰富的仿真场景。场地测试中利用模拟交通参与者，基于路侧系统集成和气象模拟等技术，搭建包含真实交通要素的场地测试场景。道路测试中依托于区域特色的开放试点道路，结合边缘计算、毫米波雷达、通信单元等智能路侧设备，全域覆盖高精定位和高精地图，构建满足安全性和鲁棒性测试的差异化道路测试场景。如甘肃开放的测试路段依托公路货运大通道，同时又具备人车稀少、极寒极旱、强紫外线、风沙雨雪等环境条件，具有构建典型、极端测试场景的优势。

2.2场景复现及参数研究

场景参数的设计是保证场景复现的关键，由于道路结构、测试环境和实时变化的驾驶行为导致场景复杂多样，需要设计各ODD中的关键参数提取方法，进行参数采样统计，并建立时间与场景覆盖度的关联模型。根据交规、自然驾驶、交通事故等数据提取环境天气、道路类型、标志标线等静态和速度、加速度、航向角等动态测试工况参数，通过多次测试验证参数设计有效性，确定系统边界并优化后记录场景参数，实现场景高度还原和复现。

测试场景的覆盖度具有不可穷举的特点，尤其是具有偶发性的道路测试场景。从统计学角度来说道路测试场景覆盖度与测试里程和测试时长成正相关[5]，基于海量采集的道路测试数据构建场景是最简单的方法，但效率较低。可以根据场景中主车与其他目标物的相对位置及相对运动关系，进一步抽取特征元素，通过场景参数重组、确定泛化区间、随机化扩充等方式来构建。对于前期积累数据建立的测试周期与场景覆盖关联模型，周期更新的测试数据可以实现数据反哺，不断训练和验证模型参数，当然要预先进行测试数据异常值检验和误差分析，若更新的数据仅个别特征发生变化、其余情况基本一致，则不必重复验证所有数据。基于系统架构和设计运行条件进行分析，从测试功能、性能等需求及安全、合规等评价角度出发，有针对性的进行道路测试用例的设计，对于难以覆盖的Corner Case结合仿真模拟、封闭场地进行测试，这样即使无法做到全覆盖的情况下，也能满足区域、道路、气候、交通等特征下的测试验证需求。

2.3测试数据采集存储和解析

由于测试过程中可能存在网络延时和通讯干扰等问题，需要对多源高并发数据利用高同步、高精度的采集存储工具，实现高效采集、无损存储和数据保真。为解决测试时存在的交通参与者行为特征难以识别的问题，需要基于车辆动力学、自动控制理论、软件工程、统计分析、数据解析融合技术等，结合车辆行为、交通状况等动态要素和道路拓扑结构、交通标志标线等静态要素，以及车辆轨迹等自动驾驶系统交互数据进行解析，结构化处理后得到包含目标物信息、环境信息、交通标志信息、信号灯信息、车道信息、轮胎接地点信息等可用于自动化评价的测试数据。

2.4评价体系和方法

从交规遵守能力和事故预防能力验证需求的角度出发，对于测试中基准逻辑场景和复杂危险场景，采取拆解动态驾驶任务的思想，结合高精度的仿真数据及多模态的道路场地测试数据，分析动静态场景要素。通过相关工具解析目标物信息、环境信息、交通标志信息等结构化数据，针对不同指标对评价结果的影响程度，基于层次分析法、熵权法等算法，构造判断矩阵研究評价指标组合的权重。建立不同指标值的规范化、加权和聚合方法，将指标组合值映射到不同评价维度，构建衡量典型驾驶功能优劣的仿真模拟、封闭场地和开放道路测试协同评价指标体系，实现基于多支柱的自动驾驶汽车功能、性能、安全、合规等评价指标在不同场景下科学合理的评估验证。

3测评体系研究维度

测评维度应以自动驾驶的故障响应、系统安全、人机交互、目标检测、数据存储和人车路协同等重点功能测试需求为依据，结合复杂环境条件下的仿真模拟、封闭场地、开放道路等组合测试手段，针对不同场景，进行基础道路、交通设施、交通状况、环境等不同层级的评价指标设计，从安全性、合规性、智能性、可靠性、舒适性、能效性等多维度进行评价指标提取，建立指标到数值空间的映射并实现量化，通过加权以及参数赋予对不同场景下高适应度、高匹配度的组合评价指标进行综合分析。

4评价指标阈值确定方法

现有自动驾驶安全性评价指标阈值主要由经验设置所得，虽简单但适用场景覆盖度不高，可以结合比较法、波动法、专家咨询法与数理统计方法进行求解。考虑交通冲突严重程度划分边界，基于交通规则常态化设计和交通事故危害调查，以及智能驾驶系统接管事件风险挖掘等方式，可以提取评价指标阈值参考区间并进行比较分析。

对于待确定阈值的指标，参考人类驾驶人驾驶行为特性统计[6]，通常需要收集如自然驾驶数据、风险场景测试数据、交通事故数据等，根据车辆运行轨迹和动态驾驶行为计算该评价指标在时间序列下的历史值分布，并使用核密度估计等方法建立概率分布模型，在一定置信度下利用模型残差的计算方法来确定阈值。例如在恶劣天气且能见度较低的情况下应保持合适的安全速度和安全距离，车辆应以不急不缓的制动减速度进行自我调整，减速度区间的上下限可以通过采集的稳定收敛自然驾驶数据及恶劣天气物理模拟场景测试数据进行计算。

5评价指标解耦及阈值迭代更新方法

不同指标之间存在冲突与依赖关系，因此需要研究不同测试算法和测试场景下评价指标的解耦方法，建立每个评价指标独立的等级衡量标准，创建自动驾驶汽车评价指标融合度模型。由于评价指标适用场景不同且具有阈值的差异问题，需结合开放道路随机测试场景特征与封闭场地特定测试场景特征，分析不同场景下指标阈值的敏感性。通过研究自动驾驶汽车测试运行数据与道路几何特征，建立起不同场景的交通冲突动态判别模型。

在求解评价指标阈值后，需要使用数理统计的方法进行指标阈值的校准与验证，实现测评的可靠性、有效性以及适用性，通过误差分析不断调整参数或模型，尽可能减少评价模型出现过拟合、阈值过度发散等情况。应用测试数据反复迭代的方法，既保证了测试用例有足够泛化代表性、尽可能多的覆盖中国特色的测试场景特征，又验证了在近似服从同一数据分布下的同类场景中评价指标阈值的合理性。

6结论与展望

以上通过分析多支柱法下自动驾驶汽车协同测试评价方法，对测试场景选取、搭建、复现、泛化以及测试数据采集、存储和解析进行了概述，并从评价指标的提取方法、组合权重、阈值求解以及数据迭代等方面进行分析，可以为自动驾驶汽车测评技术研究和运行安全水平验证提供启示。自动驾驶综合测评不仅要考虑功能安全，还要考虑预期功能安全，通过构建中国特色的测试用例库，对区域、道路、气候、交通特征和中国驾驶员行为习惯等方面深入挖掘，进行针对上路通行需求的工况覆盖度高、场景类型丰富的测试评价技术研究，从而推动自动驾驶企业自我评估和第三方检验技术发展、加快我国高级别自动驾驶汽车准入落地。

参考文献

[1]Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards to ALKS，ECE/TRANS/ WP.29/2020/81.

[2]Proposal for the Future Certification of Automated/Autonomous Driving Systems，E C E / T R ANS/ W P. 2 9 / GRVA / 2 0 1 9 / 1 3 ， ht t p： // www.unece.org/trans/main/wp29/wp29wgs/ wp29grva/grva2019.html.

[3]刘法旺，何丰，周时莹，梁伟强，何博，陈贞，徐晓庆，曹建永.基于场景的智能网联汽车模拟仿真测试评估方法与实践[J/OL].汽车工程学报：1-11[2022-11-14]. http：//kns.cnki.net/kcms/ detail/50.1206.U.20220805.1658.002.html.

[4]孙巍，应朝阳，潘汉中，等. 基于交通事故案例解构的自动驾驶车辆测试场景构建方法和测试方法，CN108765235A[P]. 2018.

[5]鹿畅，刘颖，赵丽影，等. 自动驾驶路测融合度建模与分析[J]. 同济大学学报：自然科学版，2022（005）：050.

[6]刘瑞，马志雄，武彪，等. 驾驶员驾驶行为的统计学特性[J]. 同济大学学报：自然科学版，2019（6）：10.

交通运输部印发《关于促进道路交通自动驾驶技术发展和应用的指导意见》

2020年交通运输部发布《关于促进道路交通 自动驾驶技术发展和应用的知道意见》提出，到2025年，自动驾驶基础理论研究取得积极进展，道路基础设施智能化、车路协同等关键技术及产品研发和测试验证取得重要突破；出台一批自动驾驶方面的基础性、关键性标准；建成一批国家级自动驾驶测试基地和先导应用示范工程，再不分场景实现规模化应用，推动自动驾驶技术产业化落地。

以习近平新时代中国特色社会主义思想为指导，深入贯彻党的十九大和十九届二中、三中、四中、五中全会精神，坚定不移的贯彻新发展理念，充分发挥新驱动在交通强国建设中的第一动力总用，以关键技术研发为支撑，以典型场景示范为先导，以政策和标准为保障，坚持鼓励创新、多元发展、试点先行、确保安全的原则，加快推动自动假死技术在我国道路交通运输中发展应用，全面提升交通运输现代化水平，更好满足人民群众多元化、高品质出行需求，为加快建设交通强国提供支撑。

到2025年，自動驾驶基础理论研究去的积极进展，道路基础设施智能化、车路协同等关键技术及产品研发和测试验证取得重要突破；出台一批自动驾驶方面的基础性、关键性标准；建成一批国家级自动驾驶测试基地和先导应用示范工程，在部分场景实现规模化应用，推动自动驾驶技术产业化落地。