基于机器视觉技术的钢板表面质量检测系统分析
2021-04-20高冰贾吉祥柴明亮王靖震费静
高冰,贾吉祥,柴明亮,王靖震,费静
(鞍钢集团钢铁研究院,辽宁 鞍山 114009)
钢铁冶金工业是国民经济的支柱产业,虽然中国是钢铁生产大国,但是中国的各类钢材成品和半成品在质量方面却与发达国家存在明显差距,尤其是钢材产品质量重要组成部分的表面质量,当前钢材主线产品如汽车板、家电板、不锈钢装饰板等,其表面质量对其总体质量乃至市场竞争力起着决定性的作用。利用传统的人工目测方法对钢板表面进行质量检测,极易因为“视觉疲劳”而产生表面缺陷的误报、漏报问题,国内很多钢铁公司都存在这样的情况,更有许多因为钢材表面质量问题而直接影响经济效益的案例。随着CCD(电荷耦合元件)技术和计算机技术的飞速发展,可采用基于机器视觉的一种精确、非接触式的检测方法进行钢板表面质量检测,通过高速CCD相机与计算机系统相结合的方法,及时采集图像信息,并通过处理系统将钢板表面质量信息准确的反馈给检测人员已成为钢板表面质量检测的发展趋势。
1 系统方案
基于高速线阵CCD相机的机器视觉检测方案应用于冷轧钢板表面缺陷的检测,因此需要考虑如下问题:
(1)检测系统需要满足大视场、高精度的要求,为达到合适的分辨率及视角,需要选择合适像素的相机,再根据放大倍数选择镜头;
(2)为了扩大相机的视场,选择合适的相机数量以及重叠尺寸保证检测精度;
(3)设计并行处理系统及海量的存储系统,实现对多台相机的巨大数据信息进行并行、协同处理;
(4)生产环境对系统的影响。
基于以上的设计思路,选择高速CCD相机、照明系统、DSP处理器、同步器以及服务器作为冷轧钢板表面质量检测系统的主要组成部分,其结构框图如图1所示。
图1 检测系统结构框图Fig.1 Structural Block Diagram of Inspection System
检测系统包括图像传感系统、光学照明系统、缺陷图像采集系统、缺陷图像分析与分类系统、时序与逻辑控制系统、中央控制系统、数据传输系统及上位机人机交互系统。各系统分工合作,统一管理,实现对高速带钢生产线上钢板表面质量缺陷的在线监测、分析、分类、存储与报警。
2 系统硬件的构成
2.1 高速CCD相机
图像采集系统是钢板表面质量在线检测系统的重要组成部分,是系统的“眼睛”,基于机器视觉的钢板表面质量检测系统,系统可选择高性能的线阵CCD相机或者面阵CCD相机。表1为线阵CCD相机与面阵CCD相机的比较。
根据表1对线阵CCD相机与面阵CCD相机的比较,考虑到系统应用于冷轧生产线上钢板表面质量的检测,因此选择线阵高速CCD相机作为系统的图像采集传感器。
表1 线阵CCD相机与面阵CCD相机的比较Table 1 Comparison of Linear-array CCD Camera and Face-array CCD Camera
GigE相机是一种基于CCD技术的高速线扫描相机,其速度由Ethernet的网速和数据帧格式决定。GigE相机产生帧图像数据,每一帧分装在多个Ethernet包中传输。帧由数据头Leader、数据负载Payload和数据尾Trailer构成。图像信息装在数据负载中。相机的带宽=传输字节数/(传输时间+包间隔时间),一帧图像的字节数XBytes/Frame的计算公式为:
Bandwidth为图像传输所用带宽,其计算公式如下:
式中,8 ns/Byte为千兆以太网速率的倒数;IPD是一个计数值,每增加1代表增加8 ns时间。
千兆以太网最小时间包间隔间隙为12字节。根据 IEEE802.3z协议,Ethernet包的开销为58字节,每个Ethernet包最大数据负载1 500字节,因此假设相机的像素为4 096,一帧图像至少需要3个Ethernet包传输。根据公式,分别计算出一帧图像的字节数为4 810,带宽为105.9 MB/s,预留15%带宽后的相机带宽为90 MB/s。GigE相机能够满足带宽的要求。
相机的排列方向与被测物体运动方向垂直,同步器控制同时启动各相机。GigE相机需要首先设定主机IP地址与相机IP地址,并绑定主机网络接口控制器(NIC)和相机MAC地址,同时设定网关和子网掩码,系统服务器通过Ethernet网广播启动信号,DSP接收到信号通过GPIO控制相机进行图像采集,完成后服务器通过Ethernet网广播终止信号,DSP通过GPIO控制相机停止图像采集。
2.2 光源
光源的选择直接影响图像采集的质量以及缺陷是否能在图像中明显表露出来。光源可分为自然光源和人工光源。自然光源是客观存在的,人们只能对其进行研究和利用,不能改变其发光特性,人工光源有卤素灯、荧光灯、氙灯、LED光源等。
选择光源需要考虑如下因素:
(1)对比度:照明需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度,从而易于特征的区分。
(2)亮度:当光源不够亮时,图像的对比度必然不够,图像上出现噪声的可能性即增大,会影响相机的信噪比。同时,自然光等随机光对系统的影响会最大。
针对钢板生产现场的情况,选择高速线阵CCD相机作为图像采集传感器,因此,需选择LED光源作为检测系统的照明光源,LED光源具有使用寿命长、亮度高、响应速度快、单色性好等优点。
在照明方式上,光源按照入射角反射,光源的位置对获取高对比度的图像很重要。光源的目标是要达到使感兴趣的特征与其周围的背景对光源的反射不同。根据现场需要,可以选择两种不同的形式,分别是明场照明方式和暗场照明方式。两种照明方式如图2所示。
图2 两种照明方式Fig.2 Two Ways of Lighting
根据冷轧钢板表面缺陷的特点,系统选择明场照明方式,将相机放置在反射光的光路上,以便采集到反射过来的光线,如果钢板表面没有缺陷,反射光在相机上各区域上的照度应该均匀分布,当有缺陷存在时,反射光在相机区域上的照度将发生变化。利用这一性质将明场照明方式应用在冷轧钢板表面质量检测中。
2.3 嵌入式图像处理器
嵌入式图像处理器的选择直接关系到钢板表面缺陷图像实时采集与处理的结果,也是系统设计中的一个瓶颈问题。根据前面计算数据处理速度高达近每秒百兆以及海量数据实时性的要求,需要采用专用的图像处理器、计算机总线及多计算机网络并行处理来共同完成任务。然而这必将造成系统庞杂,价格昂贵,维护困难。因此,选择采用GigE相机+DSP+服务器进行多处理器协同处理共同完成海量数据的采集、处理、传输与存储。
选择德州仪器的 TMS320DM648(DaVinci)技术数字信号处理器(DSP)作为嵌入式图像处理的核心模块,TMS320DM648建立在TI最新TMS320C64x+DSP内核基础上,64x系列DSP芯片具有极高的主频(可达900 MHz)和丰富的外围接口。与C64X系列DSP目标代码完全兼容,片上集成了二级Cache、64 bit的EMIF接口、高精度视频口、千兆以太网接口及IIC总线接口等资源。综合以上考虑,系统选择TMS320DM648DSP作为嵌入式图像处理系统的核心器件。
系统中每台相机通过以太网接口接入DSP进行并行处理,图像通过网络传输到系统服务器对图像进行分析与处理,因此,需要保证采集图像的高速性以及合适的网络拓扑结构,以保证网络信息不发生冲突。
3 系统运行现状及存在问题
该系统已应用在多条冷轧带钢生产线上,运行稳定,极大提高了生产效率,降低工人劳动强度,改善工人的作业环境。对于人类,识别和理解周围场景是容易的事情;对于机器,其困难体现在如下方面:
(1)图像多义性:三维场景被投影为二维图像,深度和不可见部分的信息被丢失,因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题。另外,在不同视角获取同一物体的图像也会有很大的差异。
(2)环境因素:场景中的诸多因素,包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对生成的图像有影响。
(3)知识引导:同样的图像在不同的知识导引下,将会产生不同的识别结果。
(4)大量数据:灰度图像和彩色图像的信息量都十分的巨大,巨大的数据量需要巨大的存贮空间,同时不易实现快速处理。
4 结语
基于机器视觉技术的钢板表面质量检测系统已应用在多条冷轧带钢生产线上,运行稳定,极大提高了生产效率,降低工人劳动强度,改善工人作业环境。该系统能够在线采集钢板表面质量缺陷数据,使得生产与质量紧密结合。同时保存历史数据,方便回放与分析,为控制产品质量提供准确有效信息。
基于图像视觉的带钢表面缺陷检测技术必将取代传统的钢板表面缺陷检测手段。今后的工作中,我们将在深度学习,提高检测系统的缺陷识别率方面做更多的工作。