机器视觉在汽车行业中的发展与应用

朱阳芬，银冬平，邹舜章，王海文，周为

（1.湖南猎豹汽车股份有限公司长沙分公司，湖南 长沙 410000；2.湖南大学机械与运载工程学院，湖南 长沙 410082；3.湖南丰源业翔晶科新能源股份有限公司，湖南 长沙 410000）

机器视觉在汽车行业中的发展与应用

朱阳芬1，银冬平1，邹舜章2，王海文3，周为3

（1.湖南猎豹汽车股份有限公司长沙分公司，湖南 长沙 410000；2.湖南大学机械与运载工程学院，湖南 长沙 410082；3.湖南丰源业翔晶科新能源股份有限公司，湖南 长沙 410000）

随着光电技术的发展，出现了通过机器代替人眼识别功能的机器视觉技术。机器视觉具有高自动化、高准确性、方便、安全等特点，在众多的领域得到了应用。文章概述了机器视觉的发展历史、基本结构、工作原理及国内外应用情况；着重介绍了机器视觉在汽车行业的发展与应用，及未来发展趋势。机器视觉的广泛应用已经是不争的事实，目前机器视觉在汽车行业中各方面的应用，都已经处于自动化技术的前沿。

机器视觉；汽车；发展与应用

1 引言

1.1 机器视觉起源历史

机器视觉的研究是从20世纪60年代中期美国学者L.R.罗伯兹关于理解多面体组成的积木世界研究开始的[1]。当时运用的预处理、边缘检测、轮廓线构成、对象建模、匹配等技术，后来一直在机器视觉中应用。

罗伯兹在图像分析过程中，采用了自底向上的方法[2]。用边缘检测技术来确定轮廓线，用区域分析技术将图像划分为由灰度相近的像素组成的区域，这些技术统称为图像分割。其目的在于用轮廓线和区域对所分析的图像进行描述，以便同机内存储的模型进行比较匹配。

实践表明，只用自底向上的分析太困难，必须同时采用自顶向下，即把目标分为若干子目标的分析方法，运用启发式知识对对象进行预测。这同言语理解中采用的自底向上和自顶向下相结合的方法是一致的。在图像理解研究中，A.古兹曼提出运用启发式知识，表明用符号过程来解释轮廓画的方法不必求助于诸如最小二乘法匹配之类的数值计算程序[3]。

70年代以后，机器视觉形成几个重要研究分支：一、目标制导的图像处理；二、图像处理和分析的并行算法；三、从二维图像提取三维信息；四、序列图像分析和运动参量求值；五、视觉知识的表示；六、视觉系统的知识库等。

1.2 机器视觉的全球应用

在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业[4]。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。而在中国，机器视觉的应用开始于90年代，大多为国外品牌。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家，随着机器视觉的不断应用，公司规模慢慢做大，技术上已经逐渐成熟。

图1

如今，中国正成为世界机器视觉发展最活跃的地区之一，应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业[5]。其重要原因是中国已经成为全球制造业的加工中心，高要求的零部件加工及其相应的先进生产线，使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。

机器视觉技术在汽车制造业中的应用[6]，大大提高了工艺运行质量和生产效率，降低了劳动强度，已在不少国内大企业得到成功的应用，包括汽车整车和零部件自动化检测，3D四轮定位，汽车产品装配/加工，智能驾驶[7]。

2 机器视觉的原理概述

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分 CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作[1]。

一个典型的工业机器视觉系统包括：光源、镜头（定焦镜头、变倍镜头、远心镜头、显微镜头）、 相机（包括CCD相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等[8,9]。

机器视觉检测系统采用 CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。

3 机器视觉在汽车行业的应用情况

汽车行业作为一个自动化程度比较高的高科技行业，很多先进的自动化技术已经成功的运用到该行业各个生产流程中。在汽车制造的许多环节已经做到了无人化操作，这样就要求有一种可靠的检测技术去验证每一次装配的正确性及装配部件的合格性。机器视觉技术以其独特的技术优势成为自动检测系统的首选。

机器视觉作为 21世纪的新兴科技之一已经被广泛的应用于汽车生产制造的各个环节，例如汽车零部件的尺寸及外观质量检测，自动装配正确性的检测[10]。以前传统的检测方式耗费大量人力，而且容易受到工人主观情绪及自身技术水平的影响，不能保证很高的检验合格率。许多汽车制造厂家开始尝试使用机器视觉检测来替代传统的检测方式，并取得了良好的效果。

3.1 机器视觉用于3D四轮定位

湖南科技大学机电工程学院赵前程等针对机器视觉 3D四轮定位仪开发过程中的关键技术[11]，基于图像特征点的灰度模型进行棋盘格型角点的亚像素精度提取；基于平面靶标进行相机内部参数的标定；采用旋转向量一致的双平面靶标进行相机外部参数的标定；基于靶标旋转平移过程中的几何关系，采用最小二乘法优化计算轮胎巾心点和旋转轴向量。采用l 600像素×l 200像素、像素尺寸3．0um×3.0um、USB3.0接口工业相机，940 nm波长LED环形光源，8 mm焦距低畸变工业相机镜头，6×6棋盘格型靶标开发出商品级的 3D四轮定位仪，并与硬件档次相当的某国际品牌四轮定位仪进行了对比测试，基本达到设计精度。商品已投放市场，用户反映良好。

3.2 机器视觉用于汽车整车和零部件自动检测

上海交通大学材料科学与工程学院朱虎成等。采用具有独特的双光源光路的机器视觉系统获取活塞表面图像信息，以LabView软件为平台对数字图像信息进行处理和分析，实现了全部活塞终检项目的一次性检测。实际应用证明该系统稳定可靠，检测效率高，检测性能优于国外进口同类产品。系统稳定可靠，适用于生产线的大批量自动化检测[12]。

长春工业大学李任江等为了对工业现场中汽车纵梁装配工艺孔进行加工在线检测，采用机器视觉和计算机控制技术，对图像拼接、特征提取和模式识别等算法进行分析和处理[13]，最终实现了纵梁装配工艺孔质量的自动识别，并通过实践证明该方法具有可行性和实用性。

江南大学机械工程学院王瑶等为了解决汽车门锁人工检测劳动强度大、效率和精度低的问题，设计了一套基于机器视觉的汽车门锁自动检测系统[14]，该系统由硬件系统和软件系统组成。针对门锁表面对比度低、装配件多和结构复杂的问题，研究了改进的距离保持水平集图像分割算法和改进的SIFT图像匹配算法，最后将这些算法在计算机中编程实现，完成图像处理软件与系统界面软件设计[27]。测试结果表明，该系统硬件选型合理，软件稳定性好、效率高，提高了汽车门锁检测的效率与精度，具有很高的实际意义和经济价值。

洛阳电光设备研究所张永强等基于机器视觉构建汽车仪表自动检测系统已成为实现仪表生产测试的主要途径[16]；基于图像空间到参数空间的收敛映射，提出了改进CM—Hough变换检测算法对汽车仪表盘的指针位置实施检测，针对经典Hough变换发散映射运算量大的缺点，提出了基于收敛映射cM—Hough变换进行指针检测的算法。给出了利用 Hough变换的检测结果直接解算指针位置的方法。最后，将算法由软件编程实现，通过测试实验验证了算法的实时性和有效性，测试数据分析显示了指针位置误差小于1%。

吉林大学刘长英等针对汽车连杆裂解槽人工检测工作量大、效率低且误差大的现状，提出一种基于机器视觉的汽车连杆裂解槽检测方法[17]。该方法利用 CCD摄像机获取检测图像，通过同态滤波技术滤除背景噪声以提高检测图像的质量，通过自适应阈值的Canny边缘检测方法提取有效边缘信息，通过圆形度和扁度对目标特征进行检测和识别，通过对汽车连杆进行实际检测来验证。结果表明该检测方法能够快速、准确地对汽车连杆裂解槽进行检测判断，可有效避免人工检测带来的误判及漏检情况，具有高的检测精度和检测效率，并且具有很高的可靠性和重复性。

吉林大学苏建等使用彩色图像的彩色分割技术[15]。开发了一套基于机器视觉的汽车整车尺寸测量系统。论述了该系统组成、测量原理及方法，针对复杂背景的彩色图像，提出利用初始轮廓线逐渐逼近最佳图像边缘，让图像轮廓的整体信息参与分类过程，有效地克服了噪声影响，同时又不损失图像的边缘信息，提高了图像边缘的检测精度和分割的质量。试验结果表明，该系统可以实现汽车整车尺寸的自动、快速、准确测量。

3.3 机器视觉应用于汽车产品装配/加工

合肥工业大学刘明周等在分析机器视觉在制造业应用模式的基础上，以机械产品装配作业为研究对象，设计了基于机器视觉的机械产品装配系统在线作业体系架构，定义了机械产品装配系统在线作业视觉因子集及其图像处理算子[15]。构建了面向机械产品装配作业过程的视觉集成应用基于知识的面向对象Petri网模型，其中知识规则赋予模型中的决策变迁智能行为，主要用于解决模型中的算法失效与系统死锁问题。以某汽车公司双离合自动变速箱阀体装配工艺为例，基于 HALCON视觉开发环境进行了原型系统开发，验证了该方法的可行性和有效性。

在汽车新能源电池模块焊装中也可应用机器视觉。 软包单体电池的设计使得传统的工装定位尤为困难，且在 PACK过程中，偏软的单体电池极耳伸出长度尺寸，每个单体电池串并联之间的间距也无法保证相同，所以可将机器视觉系统用于动力电池模块的组装及焊接，实现电池组装的高精度定位以及电池焊接的实时追踪[19,20]。同济大学徐劼等通过对iRVision和Precitec两种视觉系统的原理分析，将其结合应用于新能源汽车动力电池制造的工艺过程中，iRVision视觉系统的重复定位精度达到了0.07mm，Precitec焊缝跟踪系统的重复定位及补偿精度达到了0.1mm，完全满足电池模块生产的需求[28]。iRVision视觉系统用于单体电池的冲切和组装时的非接触式定位及引导，可确保电池模块中的单体电池极耳在Z方向上高度的一致性，从而减少汇电排总线安装后的间隙。而 Precitec视觉系统则用于电池焊接时的实时焊缝位置追踪，可确保电池串并联焊接时焊缝在X和Y方向上焊接位置精确。优化编程后的视觉焊缝跟踪系统能使1年内的电池模块焊接一次合格率达到 98.8%，相较于未使用机器视觉系统时其一次合格率不到40%提高了近60%，并且杜绝了因焊接造成的整个电池模块报废或返工的现象。

3.4 机器视觉技术在智能驾驶中应用

德国、美国和日本等国在汽车自动驾驶领域开展了积极的研究并取得了很大的成绩。我国国防科技大学机电工程学院一直在进行汽车自动驾驶技术的研究，其与第一汽车集团公司联合研制的无人驾驶型“红旗”CA7460于2003年6月在湖南长沙试车成功．稳定行驶时速达130KM／h(美国最高水平100KM／h、德国120 KM／h)，最高时速达170 KM／h，具备安全超车能力[21]。但他们的系统主要是依靠车载雷达、红外测距仪和图像传感器来识别测量路面环境状况．所得到的路面环境信息不丰富，不能满足汽车智能驾驶的要求．所以这些系统都还只能在路况良好的高速公路上应用．无法适应道路环境恶劣的低级公路和城市公路。

在智能驾驶中应用机器视觉技术，机器视觉技术必须具备实时性、鲁棒性、实用性这三个特点[22]。实时性要求机器视觉系统的数据处理必须与车辆的高速行驶同步进行；鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等，复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等，各种天气晴、阴、雨、雪、雾等均具有良好的适应性；实用性指智能车辆能够为普通用户所接受。目前，机器视觉主要用于路径的识别与跟踪。与其它传感器相比．机器视觉具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点。但数据处理量极大，存在系统实时性和稳定性问题，要靠开发高性能的计算机硬件，研究新算法来解决[23]。随着计算机技术和图像处理技术的飞速发展，三维重建道路环境为车辆高速智能驾驶提供强大的信息，在不远的将来具有现实可行性。

4 机器视觉未来发展趋势

4.1 统一开放的标准是机器视觉发展的原动力

未来，机器视觉产品的好坏不能够通过单一因素来衡量，应该逐渐按照国际化的统一标准判定，随着中国自动化的逐渐开放，将带领与其相关的产品技术也逐渐开放[24]。因此，依靠封闭的技术难以促进整个行业的发展，只有形成统一而开放的标准才能让更多的厂商在相同的平台上开发产品，这也是促进中国机器视觉朝国际化水平发展的原动力。

4.2 基于嵌入式的产品将取代板卡式产品

从产品本身看，机器视觉会越来越趋于依靠PC技术，并且与数据采集等其他控制和测量的集成会更紧密。且基于嵌入式的产品将逐渐取代板卡式产品，这是一个不断增长的趋势。主要原因是随着计算机技术和微电子技术的迅速发展，嵌入式系统应用领域越来越广泛，尤其是其具备低功耗技术的特点得到人们的重视[25]。另外，嵌入式操作系统绝大部分是以C语言为基础的，因此使用C高级语言进行嵌入式系统开发是一项带有基础性的工作，使用高级语言的优点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高、可维护性好、便于不断完善和升级换代等。因此，嵌入式产品将会取代板卡式产品。

4.3 标准化、一体化解决方案也将是机器视觉的必经之路

由于机器视觉是自动化的一部分，没有自动化就不会有机器视觉，机器视觉软硬件产品正逐渐成为协作生产制造过程中不同阶段的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用“标准化技术”[26]，直观的说就是要随着自动化的开放而逐渐开放，可以根据用户的需求进行二次开发。当今，自动化企业正在倡导软硬一体化解决方案，机器视觉的厂商在未来 5-6年内也应该不单纯是只提供产品的供应商，而是逐渐向一体化解决方案的系统集成商迈进[29]。

在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端[30]。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。另外，由于用户的需求是多样化的，且要求程度也不相同。那么，个性化方案和服务在竞争中将日益重要，即用特殊定制的产品来代替标准化的产品也是机器视觉未来发展的一个取向[32,33]。机器视觉的应用也将进一步促进自动化技术向智能化发展。

[1]贾云德.机器视觉[M].北京:科技出版社,2000.

[2]俞扑.图像测量技术用于精密测量[C].第十届全国汽车检测技术年会论文集,2003:56～59.

[3]朱铮涛.视觉测量技术及其在现代制造业中的应用[J].现代制造工程,2004(4):59～61.

[4] 朱正德.谈机器视觉在汽车制造业中的应用[J].中国测试技术,2006(32)：22～25.

[5] 王刚.基于 LVDT技术的活塞销卡环装配质量检测[J].机械工程师,2010(6):19～21.

[6] 焦圣喜,韩立强,岳晓峰.智能图像检测在活塞在线分选中的应用[J].微计算信息,2008,24(4):19～20.

[7] 阮奇帧.我和LabView[M].北京:北京航空航天出版社.2009.

[8] 邹明明,卢迪．基于改进模板匹配的车牌字符识别算法实现[J].研究与开发,2010,29(1)：59～61.

[9] 乔瑞萍.LabView大学实用教程[M].北京:电子工业出版社.2008.

[10] 周传德,王见,尹爱军.基于平面标靶的物体空间姿态精确测量[J].重庆大学学报,201l,34(8)：66～70.

[11] 王德超,涂亚庆,张铁楠.基于计算机视觉的汽车四轮定位参数检测数学模型及方法研究[J].汽车工程,2008,30(3)：243.246,278.

[12] 夏瑞雪,卢荣胜,刘宁,等.基于网点阵列靶标的特征点坐标自动提取方法[J].巾国机械 T.程,2010,21(16):1906～1910.

[13] 杨幸芳,黄玉美,高峰,等.用于摄像机标定的棋盘图像角点检测新算法[J].仪器仪表学报,201l,32(5)：1109.11 13.

[14] Richard Hanley.Andrew zisserman.Multiple view geometry in computer vision[M].Cambridge: The Press Syndicate of the University of Cambridge.UK.2000.

[15] 卞晓东.基于机器视觉的车辆几何尺寸测量系统研究:[学位论文].南京:东南大学,2005.

[16] 张可.基于双目立体视觉原理自由曲面三维重构:[学位论文].武汉:华中科技大学,2005.

[17] 张立斌,苏建,田云锋.汽车前轮定位参数快速检测的建模研究.公路交通科技, 2003（06）:155～158.

[18] 杨运蛾,何哓鸣.基于图像处理的客车车厢防雨密封性检测方法研究.武汉工业学院学报,2007（06）:75～77.

[19] Lavelle J P,Schuet S R,Schuet D J.High speed 3D scanner with real-time 3D processing. Sensors for Industry Conference,2004.Proceedings the ISA/IEEE 2004:102～108.

[20] 徐劼.机器视觉在新能源电池模块总线激光焊接中的应用[J].汽车与配件,2017,8:70～73.

[21] 刘群.视景增强雷达系统的发展与展望[J].现代雷达,2001,23(4)：7～ll.

[22] 周其焕.前视探测和多传感器综合视景系统在民机上的应用[刀.航空电子技术,2002,33(3)：l～5.

[23] Nicolas HAUTIERE et.a1.Real.time disparity contrast combination for onboard estimation of the visibility distance[J].

[24] IEEE Transactions Oil Intelligent Transpiration Systems,2006.7(2)：201～212.

[25] 祝培,朱虹,钱学明等.一种有雾天气图像景物影像的清晰化方法[J].中国图象图形学报,2004,9(1)：124～128.

[26] Tan KK,Oaldey JP.A Physics—based approach to color image enhancement in poor visibility conditions[I].Journal of the Optical Society of America A,2001,18(10)：2 460-2467.

[27] GOLNABI H,ASADPOUR A.Design and application of industrial machine vision systems[J].Robotics and Computer-In-tegrated Manufacture,2007,23(6)：630～637.

[28] 刘长勇,徐方,曲道奎.基于现场总线的汽车门锁自动测试控制系统研制[J].机械设计与制造,2010,4:145～147.

[29] 张凯丽,刘辉.边缘检测技术的发展研究[J].昆明理工大学学报.2000,z5(5)：36-39.

[30] O.Djekoune,K. Achour,Vision-guided mobile robot navigation using neural network,Image and Signal Processing and Analysi8,19～21 June 2001,P 355～361.

[31] 寇淑清,王金伟,郑祺峰,等.曲轴轴承座／连杆激光加工裂解槽的组织与胀断性能EJ].光学精密工程,2011,19(4):768～774.

[32] 赵梅芳,沈邦兴,等.多目立体视觉在工业测量中的应用研究[J].计算机测量与控制,2003,ll(11)：833～835.

[33] 章毓晋.图像理解与计算机视觉[M].北京:清华大学出版社,2000.

The development and application of machine vision in the automotive industry

Zhu Yangfen1, Yin Dongping1, Zou Shunzhang2, Wang Haiwen3, Zhou Wei3
( 1. Hunan cheetah auto co., LTD., Hunan Changsha 410000;2.Mechanical and vehicle engineering institute of hunan university, Hunan Changsha 410082;3.Fengyuan industry develop hunan xiang jing new energy co., LTD., Hunan Changsha 410000 )

With the development of photoelectric technology, a recognition by machine instead of human eyes of machine vision technology.Machine vision with high automation, high accuracy, convenience, safety, etc, have been applied in many fields.This paper summarizes the development history of machine vision, basic structure, working principle and application situation at home and abroad;Introduces the development and application of machine vision in the automotive industry, and the future development trend.The wide application of machine vision is indisputable fact that the current machine vision in all aspects of the application in the automotive industry, has been at the forefront of the automation technology.

machine vision; Car; Development and application of

U467

A

1671-7988(2017)22-08-04

10.16638 /j.cnki.1671-7988.2017.22.004

朱阳芬，本科，工程师，就职于湖南猎豹汽车股份有限公司长沙分公司、研究方向为新能源汽车电池的组装与应用。

CLC NO.:U467

A

1671-7988(2017)22-08-04