智能化技术质量评估体系为智能交通保驾护航

顾维玺

人工智能技术对智慧交通的影响已经不容忽视。什么是好的人工智能产品，如何让人工智能技术更好地应用在智能交通领域，是我们必须关注的重点，解决这一问题核心在于建立“人工智能产品质量评估体系”。

中国这一领域的研究处于全球领先行列，目的是为人工智能技术的产业化应用铺平道路，“去伪存真”，让人工智能技术更好地赋能产业发展。

目前，这一体系的建立是由中国工业互联网研究院牵头进行的。中国工业互联网研究院主要工作方向是开展战略规划标准方面的制定，以及在人工智能技术、安全体系建设以及促进国际国内合作交流方面开展工作，未来在智慧交通领域这一评估体系也将发挥重要作用。

智能交通也需质量评估

智能交通系统中的人工智能技术的质量评估体系，目的就是为智慧交通产业化铺平道路。

在对于智能交通系统中的人工智能技术的质量评估体系的探讨中，最主要的是了解人工智能技术的质量评估体系在智慧交通中发挥的作用，以及了解什么是智能交通系统，这个系统中使用的人工智能技术有哪些;人工智能技术在市场化过程中带来的问题;针对这些问题我们如何进行人工智能技术的质量评估以及体系设计。

第一，什么是智能交通系统。智能交通系统作为信息和通信技术应用于公路交通领域的系统，包括基础设施、车辆和用户，以及交通管理和移动管理，包括运输方式的其他接口，信息和通信技术是传统公路交通体系提升为智能交通系统重要驱动力。

随着大数据、算力、算法不断迭代演进、系统性提升，人工智能技术无疑是推动信息化革命的重要驱动力，全面渗透到车联网、车路协同、自动驾驶等各个方面，成为智能交通重要发展源泉。

人工智能技术在智能交通中的应用到底有哪些呢？可以从人工智能产业链层面进行分析，第一是基础硬件层，主要提供一些核心硬件，包括芯片、传感器、数据服务，它的核心能力是计算能力，可以通过建设AI的基础实验室，搭建云平台去实现这种能力。

第二是技术层，建立于基础硬件层之上，主要是提供技术开发和输出的能力，包括提供计算机视觉、自然语言处理以及机器学习等基础算法。基于技术层进行应用层的商业化解决方案，通过细分行业应用，从而在车路协同，车联网自动方面进行市场开拓。

在技术层面，人工智能技术在智能交通系统中处于基础应用，在目前业内常见的智能交通的场景中，有数百种人工智能配套技术，主要包括图象识别技术、路径追踪技术、强化学习，以及因果关系推理，还有异常值检测等等。

这些技术，第一是图象识别技术，主要用于车的车牌识别，包括行人的识别，使用一些基础的分类器，卷积神经网络。卷积神经网络是典型的常用的训练分类计，运用于图象最终决策分析，规划主要是用于加快训练器训练过程收敛速度的一种技巧。

第二是“路径追踪”技术主要是用于预测交通流的流向，包括车辆的走向等问题，我们经常通过一些时序模型进行分析，包括递归神经网络等等。

第三是强化学习，强化学习是非常先进的、难度极大的訓练方法，用在自动驾驶控制里面的训练方法。与其他的机器学习不同，它是一种强人工智能的学习训练方法，通过控制理论设计奖励机制，让训练器学会自我学习、自适应学习，需要的数据量往往高于传统的智能学习方法。

第四是因果关系推理，也是一个难度极大的技术问题，主要用于发生一起交通事故到底是什么样的因素导致，我们去追因溯源，常用的方法包括信息论的方法、有向信息量、稀疏性群学习方法，解决因果关系推理问题。

表1 人工智能技术市场化问题

最后一个是异常值检测问题，异常值检测问题用在交通事故黑客攻击现象，用于发现出现频率非常少，但是极端重要的行为检测。常用的方法通过多任务政策化约束，以及主成分分析等方法，包括迁移学习、系统优化等等。

智能交通的“锚定点” 

科学、合理、公正的人工智能技术质量评价评估体系将为智慧交通市场化、产业化提供“锚定点”。

人工智能技术在市场化过程中有哪些问题？从现实的技术流动过程中来看，首先是解决方案供给侧，也就是一些互联网企业，比如说华为、百度、阿里、腾讯，它们经常处于垄断性地位，推出的AI产品也难免会出现议价过高的情况。

这些问题导致初创的AI团队难以打入市场，对于解决方案需求侧，也就是传统汽车行业，它们对AI的知识缺乏系统全面认识，对于AI产品难以全方位把控质量，市场没有公开测评标准，没有办法评估产品的真正性价比，导致人工智能产品虽然层出不穷，产品质量难以评价。

我们统计了2016-2018年自动驾驶道路交通事故统计表，发现有8起关于自动驾驶的事故，5起由于智能系统问题导致的，从而造成人员伤亡。可见人工智能系统、人工智能技术与人身安全息息相关的，因此我们必须对市场中的人工智能技术建立统一的评估体系。

我们需要建立一套人工智能产品质量和评测标准和体系，针对特定的供给侧提出人工智能解决方案进行算法准确性能、泛化性能、运行效率等认证，在产品需求侧（传统的汽车行业），可以获取非常中立、专业、权威的人工智能产品评估信息、评估报告。对于供给侧先进的互联网科技公司，它们可以更科学合理地优化算法设计和产品。

到底如何进行科学的合理的公正的人工智能技术质量评价评估体系设计呢？第一是AI产品技术的质量评测，第二是AI产品技术的性价比评测。

首先来看质量评测，针对不同工业场景、汽车场景、公路场景确定统一的实验外部变量，形成评价指标或计算指标，完成人工智能的质量评测。人工智能技术评价标准可以分为以下几个方面。

第一个方面是准确性能评测，包括准确度、精准度、召回率以及异常值检测成功率F1值等指标评测;第二个方面模型泛化内能力，用于衡量模型在时间和空间维度的泛化成功率;第三方面可靠性评测，衡量模型是否具有非常好的抗噪能力;第四方面模型训练运行效率，训练时间消耗，计算资源消耗，训练一个模型需要一两个小时，还是需要一两个月，才能把这个模型训练好，训练过程中需要多少块GPU和CPU。

就智能汽车过程中的AI技术质量设计了一套质量评价体系图表，可以看到我们对车道检测，图象检测，语音识别等，对他们提出了准确度、召回率、精确度、异常值检测，以及训练时间和计算资源消耗等指标，通过量化指标评估人工智能技术性能。

第二方面在质量评测基础上进行性价比评测，通过与基准检验方案质量评测结果和所需要的价格形成对比，为AI产品需求侧提供非常直观的性价比评估。

传统的人工智能技术的开发流程。首先是原始数据采集，使用自动汽车上面的雷达或者传感器去获取源数据，在源数据基础上进行人工特征工程包括数据清洗，还有一些特征提取等工作，基于这些特征工程的数据分布进行模型设计，选用一些时序方法还是一些传统的比如说基于数的模型方法，最后我们进行智能汽车相关任务的预测或者分类，主要是特征工程和模型设计，这两个过程的质量直接決定了人工智能完成情况，对于这两部分的通用构建的基础数据库和基础模型库，特征工程和模型工程作为黑箱，最后形成相关任务的性价比对比。

除了传统的评估方法，另外一种评估方法就是利用经典算法模型去评估，主要方式就是去替代原方案模型设计部分，在保证其他模块不变情况下，对比智能汽车相关任务完成性能，从而去评测原方案模型设计的模块性价比。经典算法模型评估主要是利用人工智能的各项性能指标进行评判，包括准确度、召回率、精确度、异常值检测率、泛化成功率、训练时间、计算资源消耗、建议价格。

最后，我用工信部发布的新一代人工智能产业重点任务工作方案来作为总结。至2020年我国要建立可靠、安全、实施性强的智能网联汽车智能化产品，形成产品相关标准，支撑高度自动驾驶。AI评估作为AI技术和传统的汽车交通业的一个桥梁，它对合理全面科学建立AI技术和汽车是非常必要、非常重要的一个环节，促进智能交通全要素、全产业链、全价值链全面升级。我也非常希望能够与更多IT行业，以及汽车行业加入到评估标准体系建设团体来，一起为人工智能更好更科学更健康的在智能交通领域应用做出贡献。

（根据2019世界智能网联汽车大会速记整理，未经本人确认，有删节。）