机器视觉研究与发展综述

2019-01-17宋春华彭泫知

装备制造技术 2019年6期

宋春华，彭泫知

（西华大学机械工程学院，四川成都610039）

机器视觉技术涉及计算机视觉、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域，作为一门新兴技术，伴随着人工智能技术的快速发展推动新一轮产业革命的到来，机器视觉技术系统在工业、农业、交通、医疗等行业得到了广泛的应用[1]，不仅提高了生产效率，并且在精度、质量和速度都比人工具有巨大的优势[2]。本文针对国内外机器视觉技术的发展现状进行了总结，分析了存在的问题，并对机器视觉技术未来的发展趋势做出展望。

1 机器视觉系统的国内外发展研究情况

1.1 国内的发展研究情况

我国的机器视觉技术研究起步于20世纪80年代，引进初期主要应用于半导体和电子行业，投入发展较少，相关技术人才缺乏，厂商主要为代理国外品牌，缺乏自主研发[3]。最近随着机器视觉技术在下游行业的广泛应用和迅速发展、国家政策体系的不断完善和技术扶持，我国机器视觉技术迎来快速发展，将逐渐成为世界第三大视觉应用市场。但是各方面依然与国外先进技术存在较大差距，存在产品质量较差，技术含量偏低，市场饱和度低等问题。

1.1.1 国内技术发展研究情况

我国对机器视觉相关技术的发展在近几年得到重视，机器视觉行业发展开始蒸蒸日上。视觉研究已经渗透了产业的各个方面，国内大多研究主要集中在识别、检测、测量的工业应用领域。2014年广东工业大学袁清珂等人开发一种基于机器视觉的自动检测系统[4]，利用CCD相机采集图像序列和常规的图像预处理，定位识别，特征提取，测量计算，准确识别目标，实现孔壁弹性接触点的高度自动检测并且该研究的测量精度满足生产要求。2016年Chen Tiejian等人提出了一种用于罐头检测的机器视觉装置和方法[5]，该方法提出一种结合先验形状约束的熵率聚类算法来定位罐头并进行区域划分，引入多尺度检测算法沿投影轮廓寻找缺陷，使用该方法对圆形罐头进行缺陷检测的精度达到99.48%。深港产学研基地和华南师范大学研究中心在2017年提出了一种基于机器视觉系统的薄膜缺陷检测与厚度测量的方法[6]，基于透射式光密度厚度测量在保证完成检测要求的同时能较大范围地对厚度进行测量，与大多光密度-厚度测量方法不同的是：该研究标定光密度测量系统，减小了测量误差，能满足市场需求，有广阔的应用前景。

1.1.2 国内产品的发展研究情况

目前进入我国机器视觉市场的国外品牌有100多家，我国本土的企业负责销售代理的企业有200多家，专业的系统集成商超过50家[7]。知名品牌有北京大恒图像视觉有限公司、凌云光子技术集团、凌华科技有限公司、无锡信捷电气股份等公司，主要位于广东、浙江、上海、江苏、北京等省市。

凌华科技在2016年发布了行业最高效能的小型机器视觉系统EOS-1200，该系统搭载第二代Intel－CoreTM i7四核处理器，由以往的多缆线单数据传输整合到一根缆线，极大地减小了缆线的数量和成本。解决了以往视觉系统精度不足，占用空间大，运算速度低的问题，为行业提供更好的解决方案。2017年无锡信捷电气股份有限公司，研制发布了一款智能相机，该相机内涵CMOS传感器采集高质量的现场图像，内嵌DSP/A8数字图像处理芯片，能够脱离PC机对图像进行运算处理，控制或执行单元在接受到相机的图像处理结果后进行相应的操作，不需要操作者进行编程，大幅降低了操作的难度。大恒图像在2018年研发设计了针对工业级机器视觉应用的全新一代工业面阵相机MER-U3-L，该装置主要应用于完成定位、测量、缺陷检查、目标识别和拾取的工作，具有高可靠性。但与线阵相机相比精度较低，成本更高，而且一般面阵相机每行像素少很难完全满足工业测量要求。这些产品在运算速度、操作方式、可靠性等方面有较大改进，明显地扩大了视觉技术在生产工业的应用范围，增强了我国在视觉技术方面的核心竞争力。

综上，我国的机器视觉还处于单功能、低效率的一个阶段，在发展过程中还存在较多的问题，首先是技术缺失，现在大部分都是靠进口技术来进行获取，自主化程度低；其次视觉行业技术不集中没有核心竞争力等问题，导致行业发展受到制约。但是我国机器视觉市场在近几年发展迅速，增速位居全球首位，具有很大的发展空间。

1.2 国外的发展研究情况

1.2.1 国外技术发展研究情况

从上个世纪80年代中期开始，机器视觉技术在国外获得了蓬勃发展，并在90年代进入高速发展期，提出了多种新概念、新方法、新理论，至2006年，随着深度学习概念的提出，卷积神经网络、循环神经网络等算法的推广应用，机器可以通过训练自主建立识别逻辑，图像识别准确率大幅提升，机器视觉发展进入一个新的阶段。至今机器视觉技术在机器人、3D视觉、工业传感器、影像处理技术、机器人控制软件或算法、人工智能等方面领域得到了广泛的应用。

2016年Diago等人设计了一种基于机器视觉评估葡萄园冠层孔隙度的方法[8]，该方法与传统的PQA方法对比，间隙百分比之间的回归确定系数在每个位点超过0.90，可以优化冠层管理，改善果实质量。同年，Sture等人论文中提出了一种应用于鲑鱼质量检测的3D机器视觉系统[9]，该系统从彩色3D点云中提取几何和颜色特征，使用支持向量机分类器，对存在畸形和伤口的鲑鱼分类，完成对鲑鱼质量的分类。2017年Ziatdinov等人[10]使用机器视觉读取和识别表面上复杂的分子组件，构建函数关系，应用于电子和其他微观测量。L Fernandez-Robles等人在2017年的文章中设计了一种基于机器视觉的边缘轮廓铣床中破碎刀片的识别方法[11]，在文中指出通过对刀片螺钉定位，应用几何运算确定刀刃的期望位置和方向，计算从预期刀刃到刀片实际边缘的偏差，确定刀片是否损坏。该方法识别铣床的破损刀具处理速度快，精确值在0.9143左右。2017年C Kavitha等人提出了一种利用机器视觉系统进行主轴径向误差评估的新方法[12]，该方法是用CMOS相机和PC图像处理系统对车床主轴进行径向误差检测，使用圆形霍夫变换（CHT）在像素级别的主轴旋转期间的图像中检测主缸的中心位置的变化，并使用最小二乘曲线拟合技术计算主缸的中心位置的傅立叶级数来评估主轴的径向误差值，所评估的同步和异步径向误差的最大标准差在±0.086 603μm和±0.087 492μm，表明该方法能够用于亚微米级的主轴径向误差评估。WS Qureshi等人在2017年的论文中提出了基于纹理的密集分割和基于形状的水果检测方法用于计算芒果树果实的机器视觉算法[13]，该方法实现了准确分割和检测树冠图像中的水果，能够对水果产量进行现场快速准确预测。J Eadcliffe等人在2018年提出了一种用于果园导航的机器视觉系统[14]，该系统通过多光谱相机实时捕获果园中果树的树冠和背景天空，为地面的无人车提供可用于自主导航的树的中心行的特征，实验结果表明该系统在桃树果园中实现自主导航，其RMS误差在2.13 cm。2019年H Azarmdel等人设计了一种基于机器视觉的鳟鱼加工系统的定位切割点算法[15]，该算法通过RGB、HSV和L*a*b色彩空间，根据鳟鱼的尺寸提取合适的头部和腹部切割点，准确度和特异性为99.87%和99.97%。

此外，机器视觉在目标识别、位置检测、完整性检测、形状和尺寸检测和表面检测等方面都得到了广泛的应用。

1.2.2 国外产品的发展研究情况

目前机器视觉行业已经处于成熟期，2018年全球机器视觉市场规模达到56.33亿美元[16]；产业分布主要集中于北美地区，占全球26.22%，其次为欧洲和日本，分别占比9.32%和4.28%。主要在自动驾驶、虚拟现实、图像自动解释、物体自动识别、医学领域、智能安防、人机交互和工业视觉八大领域应用。目前全球机器视觉行业被美国康耐视公司和日本基恩士公司垄断了全球50%以上的市场份额。

美国康耐视（Congnex）公司是工业自动化领域的机器视觉系统、软件和传感器制造商，用于自动化制造、零件检测和识别、产品装配验证等，产品包括In-Sight系列视觉工具、VisionPro软件和DataMan读取器等。康耐视拥有 Hotbars、PatMax、OCRMax、OCVMax、MatchColor等660项全球专利，其In-Sight视觉工具能够实现每分钟6 000个元件的生产线速度需求。在2018年康耐视的销售收入约为8.06亿美元。日本基恩士（Keyence）是开发和制造自动化传感器、视觉系统、条形码阅读器、激光标记和测量仪器等的公司，基恩士公司的CV和XG系列视觉系统搭配其3D Vision系列图像处理系统，能够满足外观检查、定位、尺寸检测、有无辨别和字符识别等功能。

除以上两大公司外，机器视觉行业还有欧姆龙麦斯肯、菲力尔、巴斯勒、达尔萨、NI、等主要公司。

美国菲力尔公司（Flir）是全球创新成像系统制造领域的领军企业，2016年完成对Point Grey收购后，菲力尔公司成为brickstream系列相机产品的所有者。2018年研发销售的blackfly系列相机具有CMOS全局快门、偏振技术和高灵敏度BSI传感器，被用作机器视觉摄像头，应用于区域扫描。菲力尔公司以其产品的高性价比、灵活、适用范围广和优异的质量占据核心市场并且拥有自主的知识产权完整地掌握了相机的核心技术。美国欧姆龙迈思肯（Microscan）公司拥有全球全面的机器视觉技术专利组合，其2018年推出的基于FPGA的HAWK MV-4000系列CMOS智能相机，具有300IPS的视觉检测速度，在不借助外部处理的情况下实现每分钟4000～14000个零件的检查率，在消费品行业、制药企业、汽车制造和电子制造等领域得到了应用。欧姆龙麦斯肯推出的Auto VISIONTM和Visionscape机器视觉软件缩短了用户的学习时间提高了学习效率，拥有完整的工具套件和直观的用户界面，满足不同的使用需求，提高生产效率。

综上，从机器视觉产品在全球发展现状来看，近10年来，全球机器视觉市场规模符合增长率超过10%，并且随着各行业自动化、智能化程度加深，未来五年全球机器视觉市场将持续增长。国外尤其是美日两国的机器视觉厂商的自主研发能力强，掌握核心技术，几乎垄断了全球机器视觉市场。全球机器视觉产业正处于一个将逐步与人工智能完美协调融合完成工业生产向智能化转型跨时代改革的新时期。

2 目前存在的问题和解决方案

虽然机器视觉已经成功广泛应用于工业生产，但仍存在的很多问题是机器视觉在各个行业易用性低的主要原因。所以解决目前还存在的问题是跨越瓶颈期蓬勃发展的关键。

2.1 目前存在的问题

机器视觉具有高精度、高效率、大大降低人工成本等特点，提高了生产的灵活性和自动化程度，但是经过几十年的发展与应用仍然存在很多不足。

（1）人才缺乏，由于我国从事机器视觉的厂商自主研发能力较差，能够提供的工作岗位较少，使得高校学生对此行业热度不够，从而导致专业人才的缺乏。

（2）高性能的CCD或CMOS感光元件还需要进一步发展，硬件精度是机器视觉技术的基础，在不断提高测量精度的前提下，降低生产和使用的成本。

（3）准确性不足。在工业实际应用上，机器视觉的准确性远低于实验的测试结果，当测量的环境发生改变后，得出的结果会发生较大的偏差，对环境的适应性较差。

（4）通用性较差。一套设备往往只能应用于单一行业，或者一套设备中的配件只能使用单一厂商的产品，致使开发成本和使用维护过高。

2.2 拟解决方案

工业生产对精度的要求越来越高，而机器视觉系统正能够有效提高生产精度，解放劳动力，针对上面问题提出能改善机器视觉系统的拟解决方案如下：

（1）提高机器视觉底层算法在应用和技术方面的研究的重视程度。从机器视觉的深度学习网络入手，找到适合机器视觉的深度学习最适合的方式，解决深度学习中出现的无法有效解决的应用问题。

（2）机器视觉大多数都是模仿人眼和大脑的信息处理模式，也可以转向动物的神经网络的处理方式。动物仅仅是靠没有色彩信息的灰度信息就能完成目标的捕捉和识别，可以将神经网络扩展加入动物的神经系统来降低处理量并且获得更多更精确的图像信息。

（3）COMS和CCD图像传感器具有广泛使用和高速度、高精度等特点，可以综合计算机视觉的算法，研发出更多能满足我们目前需求的机器视觉系统，降低成本、提高性价比。

（4）机器视觉系统能与语音智能识别相结合。通过简短的语音识别转化为设置目标参数信号，能很好地降低使用成本并达到最佳参数设定值，更能推进机器视觉系统在工业方面的应用。

3 未来的发展方向

随着自动化行业在近年来的飞速发展，机器视觉技术急需更新换代，未来一段时间机器视觉技术的重点发展方向如下：

机器视觉系统与多传感器相融合。利用多传感器与机器视觉融合综合提取的多种信息能纠正机器视觉处理问题时漂移和提高视觉系统的可信度和准确度，解决了单一机器视觉系统的局限性。

机器视觉往嵌入式系统发展。嵌入式系统具有开发周期短、成本低廉、低能耗、容易升级维护等优点，能够让机器视觉系统向着智能化的方向发展。嵌入式机器视觉系统的最核心模块CPU主要使用FPGA或DSP。为了提高处理效率必将带动硬件的开发和三维成像技术的发展。使用硬件将图像采集的模拟信号转换为数字信号，再对数字像信号进行分析和处理，传送给主机，这样大大减少了主机的工作负荷，有效提高了计算速度，能够更适合及时对反馈回来的信息进行处理。随着计算机存贮容量的不断上升，FPGA和DSP的不断优化，嵌入式机器视觉系统能更快地处理图像信息、能更好地满足生产需求。