数据驱动的车身概念模型自动化三维建模

李宝军，董 颖，孙玮雪，赵天鹏，陶 凯

（1.大连理工大学 汽车工程学院，辽宁，大连 116024；2.工业装备结构分析国家重点实验室，辽宁，大连 116024）

在车身概念模型设计阶段，设计师往往用二维草图来表达自己的设计意图。二维草图中的创作意图表达较为简单，包含物体形状、线条等基本信息，但是单幅图像所包含的几何信息是有限的，不能完整地表达设计师的创意[1]。如何快速地将单张车身侧视图或手绘草图转化为相应的三维模型，是一个极具研究价值的课题。通过传统的三维建模软件，例如NX、CATIA、Alias等，利用输入的多视角图像，可以手动进行三维建模，但是该方法需要操作者对三维建模流程及三维建模软件有相当的了解，即使是经验丰富、操作熟练的专业建模人员，往往也需要耗费大量的时间才能完成整个建模流程。

因此，众多学者提出了许多基于单幅图像的快速建模技术。根据二维图像重建三维模型是一个病态问题，由于二维图像中缺少深度信息，所以在重建过程中需要人为输入必要的信息才能生成三维模型。大部分方法在重建过程中需要在输入的图像中做一定的标注。如XU等[2]对输入的图像进行人为分割，通过建立输入图像和已知三维模型之间的关系来生成三维模型。还有的研究者利用立方体或圆柱体，将输入图像中的物体进行人为划分，从而生成对应的三维模型[3-4]。KHOLGADE等[5]设计了一套系统，该系统可以使用户将三维模型对应到图片上，从而实现更进一步的图片编辑，这里指对图片中物体对应的三维模型的控制和编辑。

随着计算机技术的发展，三维模型的数字化存储变得更为容易，海量图片的获取更加便捷，大数据以及数据驱动法的发展使人们可通过单视图推测物体的三维几何形状[6-9]。为了实现更准确的重建，部分研究者提出利用一组图片进行三维几何信息的推断[10-13]。然而这些方法并没有利用三维模型库的信息，而且也没有对输入的图片作深入的分析，因此所生成的三维模型仍然较为粗糙且不精确。

通过对图像中物体进行特征提取、精确识别，可以实现物体的分类[14-15]，在三维重建领域，可利用分类识别法分析物体所属类型，从而匹配不同的模型库实现三维物体重建。此外，关键点自动定位[16]在人脸对齐、人脸识别、人脸三维模型重建等领域有广泛的研究，关键点自动定位能够揭示物体结构信息，同时可以省去人为标注的麻烦。车身侧视图结构和人脸存在诸多类似，如果对车身侧视图加以结构区分，特征点自动标注，可以在重建过程中实现全自动化。即使是对车身结构没有了解的人，也能实现车身三维模型的重建。

数据驱动法在图像理解和建筑物模型重建领域同样有广泛的研究与应用[17-18]。通过对图像中隐含知识和特征的挖掘，并且利用模型库中信息的匹配，基于单幅图像的窗户模型重建精度有了较大的提升。对于车身概念模型，不仅要实现高精度、高效率的建模，还要求输出格式为参数化的曲面表示。汽车外形种类繁多，车身结构较为复杂，上述建模方法虽然在各自领域取得了理想的效果，但是并不能实现汽车概念模型的全自动生成。针对车身概念模型智能化建模的需要，本文提出“分类而治”的流程：（1）车身侧视图图片输入。（2）车型分类识别。（3）车身侧面结构关键点定位。（4）二维、三维车身参数化曲线网及曲面生成。如图1所示。

图1 数据驱动的基于单视图生成车身三维模型技术路线图

1 自动建模算法流程

1.1 车型分类与自动识别

1.1.1 车型分析

汽车侧视图结构有较大差别，为了实现高精度的三维曲线和曲面重建，需要根据不同的车型匹配不同的模型库。本文主要考虑常见四门乘用车情形，将车型分为两大类：三厢车和SUV（包含两厢车、MPV等车型）。在此基础上，根据C柱前小侧窗是否和后车门合为一体的拓扑关系，分为有小侧窗类型和无小侧窗类型。具体分类示意图如图2所示，图2a为车型分类，图2b为三厢车小侧窗分类，图2b上图为无小侧窗类型，图2b下图为有小侧窗类型。SUV车型小侧窗分类法与上述类似。

图2 车身侧视图分类

1.1.2 车型自动识别

对于人脸识别、物体检测等问题，CHAN 等[14]提出级联主成分分析（Principle Component Analysis，PCA）网络结合支持向量机（Support Vector Machine，SVM）的方法，该方法在基于汽车前部视图的品牌分类识别研究方面也取得了理想的效果。DALAL等[15]提出利用方向梯度直方图（Histogram of Oriented Gradient，HOG）特征进行物体检测，该特征描述子加支持向量机的方法在行人检测和车型识别中取得了很好的效果。此外，Gabor结合SVM的方法也可用于车型图像特征的提取和分类。经过详细分析，本文提出一种组合车型识别法，如图3所示。

图3 侧视图分类识别流程图

1.2 车身侧视图关键点定位

为实现三维模型的自动生成，本节通过分析和比较，给出汽车侧视图的关键特征点（族）定义及其自动提取法。

1.2.1 车身侧视图关键点分析与定义

参考人脸关键点定位问题中关键点的定义，关键点大致分为两类：外轮廓关键点和细节特征关键点（眼、鼻、嘴等）。经过对车身侧视图二维重建误差的统计分析，当车身侧视图关键点数目为32个时，误差率达到最低，考虑后续二维特征线生成和三维曲线、曲面重建的要求，经过测试，定义车身侧视图关键点为32个。如图4所示，特征点编号为1-32，其中3-15为车身外轮廓关键点（红色圆点），16-26为车门及车窗轮廓关键点（蓝色圆点），27、29为腰线前后端点（绿色圆点），28、30为前大灯和后尾灯关键点（绿色圆点），31为后备厢关键点（绿色圆点），1、2、32为参考点（橙色圆点）。由图可知，本文定义的32个关键点可以涵盖车身侧面所有特征，而且SUV和三厢车关键点定义的数目和位置一致。

图4 车身侧视图关键点定义示意图

1.2.2 车身关键点自动检测

在人脸关键点定位中，基于局部二值特征回归[16]算法在识别精度和识别效率方面取得了理想结果。该算法主要利用随机森林回归局部二值特征，学习特征映射函数，进一步得到线性回归函数，进行特征点定位。图5为采用二值特征回归法进行车身侧视图关键点定位的流程，本文将采用该方法进行特征点自动定位。

式中：给定车身初始形状S0，逐步预测形状增量ΔS，使最终预测的车身形状逼近真实的车身形状；Wtϕ 为线性回归矩阵；tϕ 为特征映射函数；I为输入的车身侧视图图像；t为回归的阶段。回归是指随机初始化的标记点回到自己实际位置中，所以形状回归是指标记的车身关键点迭代回归到实际位置。式中：i代表所有的训练样本，提取两个单元（2l-1，2l），是第i个训练样本中，第l个特征点的位置与真实特征点之间位置的二维偏置。

通过式（2）可以求得特征映射函数ϕtl。但在这个过程中，线性回归矩阵Wlt和特征映射函数ϕlt都是未知的，因此，首先学习局部映射函数来为每个标记点生成局部二值特征，然后将这些局部二值特征串联起来，得到特征映射函数。

式中：第一项是回归目标；第二项是通过L2范数规范化对Wt的长度约束；λ为控制规范化的强度。经过式（2）的学习，得到了特征映射函数和局部线性回归矩阵，舍弃了局部线性回归输出，利用得到的特征映射函数，通过式（3）学习全局线性回归矩阵 Wt。

图5 通过二值特征回归法进行车身侧视图关键点定位流程

1.3 车身概念模型自动生成

从单幅侧视图中获得了车型信息和创建三维模型所需的关键点信息之后，本节采用数据驱动的形变模型法，进行车身概念二维、三维模型的生成。

1.3.1 车身2D特征曲线生成

采用文献[19]中的二维车身特征线形变模型生成法，进行基于有限关键点的参数化特征曲线族的重建，从而实现对图像中造型特征信息的捕捉及对应的参数化模型的自动生成。此外，可同时实现输入图像的特征信息标注，将生成的车身特征曲线更新到车身二维造型特征线模型数据库中。

1.3.2 车身3D特征曲线与曲面生成

采用文献[20]中的三维车身特征线形变模型生成法，进行基于有限关键点的参数化特征曲线族的重建，结合二维特征曲线信息的约束，实现三维模型的自动生成。结合2.1节中的车型识别，进行分类的参数化曲面生成，生成的参数化特征曲线和曲面可按需更新到车身三维造型特征线模型数据库中。

2 数值试验

为实现本文提出的数据驱动的汽车概念模型全自动建模，首先创建如图1所示的模型库和训练库。

2.1 训练库与模型库的创建

车身侧视图图片库的创建及其类型标注。通过互联网获取车身侧视图，这些原始图片含有大量的背景噪声，而且图片尺寸比例不统一，经过测试和对比发现，这样低质量的图片会降低特征提取及分类的准确率，因此对原始图片进行了去背景以及尺寸归一化处理，前后车轮不参与后续三维模型重建，亦作为背景进行了处理，最终得到可用图片数量为4 157张，车型数量分布及占比见表1。其中，有无小侧窗占比指的是占整个图片库侧视图数量的比重。可以看到，数据库中车型分布和三厢车有无小侧窗数据分布比较均匀，但是SUV有无小侧窗数据量差异巨大，原因是SUV车型尺寸偏大，出于造型和驾乘人员视野考虑，大部分SUV车型均有小侧窗，这是造成SUV无小侧窗图片量过少的原因。

表1 图片库中不同分类图片数量及占比

车身侧视图特征点数据库的创建。针对上述数据库，创建了其对应的特征点训练库，包含两部分内容：一是车身侧视图图片，二是与之相对应的关键点坐标文件。数据库中包含不同车型的图片4 157张，与之相对应的关键点坐标文件是4 157个，文件格式是“*.pts”。

更新文献[20]中的二维特征线框数据库（1 000个模型）及三维特征线框数据库（200个模型）。

2.2 车型精确识别

本部分试验的测试平台为Matlab。电脑配置为：内存16 GB，Intel Core i5-4590处理器，主频3.3 GHz。

试验数据包括随机选取的950张三厢车图片和796张SUV图片。试验方法分别为Gabor、HOG和PCANet三种特征提取法，以及它们与SVM相结合的分类识别法。三种算法的单幅侧视图识别时间见表2。

表2 单幅侧视图识别时间

三种基本算法以及本文提出的组合算法所测得的识别正确率如图6所示。由图可知，采用组合识别方法在每一类的识别准确率方面都是最高的。

图6 分类识别准确率

2.3 车身关键点自动提取

基于Matlab平台，验证2.2节中车身侧视图关键点定位算法的有效性。测试数据包括12幅渲染图和与之相对应的12幅手绘草图。采用的误差统计方式为相对误差，以汽车轴距作为相对误差度量基准。参与误差统计的点为除了前后轮心外的剩余30个点。所用电脑配置为：内存16 GB，Intel Core i5-4590处理器，主频3.3 GHz。单幅车身侧视图关键点定位所用平均时间为0.22 s。

对手绘草图和渲染图定位误差分别进行统计，取所有图片每个点的平均误差，平均误差统计结果如图7所示。由图可知，对于渲染图来说，所有点的误差率集中在2%上下，而草图的误差率集中在2.5%上下。最终计算结果表明渲染图关键点定位平均误差率为1.9%，草图为2.5%。相对误差率较大的点集中在20、21、22、27和29。20、21和22是与小侧窗结构相关的点，可以结合特征分类进行后处理，对于没有小侧窗的车型，调整点20和点21重合，点22和点23重合。点27和点29是腰线前后端点，这也是不同车型之间差异较大的部分，可以在自动定位完成后手动调整其位置，形成不同的设计风格。

图7 关键点定位误差统计

2.4 车身2D特征线自动生成

利用文献[19]中车身二维特征线自动提取工具，将上述得到的车身侧视图关键点信息读入系统，即可实现车身侧视图二维特征线框的高精度生成。利用自动定位特征点得到的二维特征线框如图8所示，图中车型为Audi A4L。为了统计二维重建误差，度量了手动生成二维特征线和自动生成二维特征线之间的面积误差。在三次贝塞尔曲线上进行均匀采样，采样点的个数为100个，用直线段依次连接采样点，即可将两条贝塞尔曲线之间的区域用小三角形代替，每条贝塞尔曲线之间的面积用采样得到的三角形面积和代替，统计发现二维曲线的面积误差大部分控制在0.04 m2以下，可以很好地进行三维重建。

图8 二维造型特征线自动重建

2.5 车身3D特征线及曲面自动生成

首先采用统计形变模型法进行三维曲线模型的重建[19]，然后通过2.1节中得到的车型分类结果，匹配不同的三维造型特征线模型库生成三维曲线，最后采用不同的车身曲面分块生成策略生成了三维曲面模型。三维重建部分不是本文重点阐述的内容，在此未做算法详述，也未考虑三维重建误差。图9为采用本文方法重建的部分手绘草图的3D曲线和曲面模型结果。对比传统的基于四视图的曲面建模法，本文仅需1～3 min即可实现从创意草图到三维参数化模型的生成。

图9 手绘草图三维曲面自动建模结果

3 结论

为进行车身概念模型智能化自动建模，本文提出数据驱动和基于学习的自动化三维建模法，完成了从二维车身侧视图渲染图或草图输入到三维曲线曲面模型的生成，并建立了较为全面的模型库，包括车身侧视图及对应车型标注库（4 157幅图片）、关键点坐标数据库（4 157个pts文件）、二维特征线框数据库（215个模型）和三维特征线框数据库（200个模型）。实现了车型分类识别和关键点定位的自动化，并取得了较高的识别和定位准确率。这两部分的智能化是整个系统智能化的关键，进而结合基于形变模型的数据驱动建模法，实现三维曲面模型的生成。利用本文提出的方法，可以快速实现大众设计，即使没有三维建模基础，只要将自己的创意用二维草图的形式加以展现，该系统即可生成相应的车身三维模型。目前还需在关键点提取精度与鲁棒性、三维重建曲面光顺两方面进行深入研究，以期达到更好的效果。