工业相机过曝光自适应优化控制算法

吴文麟，廖晓波，*，李俊忠，周军，庄健

（1.西南科技大学 制造学院，制造过程测试技术教育部重点实验室，四川 绵阳 621010；2.西安交通大学 机械工程学院，陕西 西安 710049）

1 引言

随着制造业的不断发展，工业视觉系统的应用越来越广泛。例如，在高精密激光加工时常需要对加工工件进行动态的观测，以便更好地调整加工参数和确定工件加工质量［1］。但类如激光加工等工业场景具有亮度高且突变性强的特点，工业相机往往无法在这种环境中清晰成像，获得较好的观测数据。目前在工业环境中工业相机常用的曝光方法分为基于硬件的自动曝光方法和基于图像的自适应曝光算法。基于相机硬件的自动曝光算法通过感光元件和硬件电路的配合设计在一定程度上可以解决成像问题［2］，但是受限于调节所涉硬件的调节范围，环境亮度一旦超过调节范围即失去调节能力，无法完全适应高亮突变环境。基于图像的自适应曝光算法主要包括全局和局部的亮度均值算法、直方图算法、图像信息熵算法和深度学习算法等［3］。李文涛等人［4］提出一种图像直方图与相机曝光时间相结合的方法进行过度曝光自适应调节，但其对全图进行直方图估计，运算速度较慢，且线性调节方式具有较大的局限性。汪锦航等人［5］通过坐标映射关系自适应调整图案亮度，从而解决亮度过大或亮度不足的问题，但是这种方法无法处理区域性亮度不足，适应性较低。Kataoka 等人［6］利用最大化全图熵的方法确定曝光时间，对图像中明暗较为突出的区域采用分块的方法估计区域图像熵，从而抑制高光溢出和阴影遮挡的影响。这种方法虽然针对全图进行模块化自适应，但是图像熵的计算量较大，分块计算后的调节时间较慢。Que 等人［7］提出一种多重曝光融合方法，将全局和局部亮度分量通过权重联合起来，同时利用一种多尺度边缘保持平滑模型对多重曝光的图像进行融合拟合，实现了较大范围的自适应曝光。但是这种方法存在拟合误差，且成像需多幅图像，有效目标成像速度较慢。

针对上述问题，本文提出了一种改进的工业相机曝光自适应控制方法。算法实时计算预设区域的平均加权灰度值，通过反馈调节方法计算曝光值，并将其作为当前曝光值控制相机曝光时长，同时利用基于改进“S”曲线的参数控制优化方法，对反馈调节方法内部参数进行优化控制，由上过程不断迭代直至达到预设的理想清晰化曝光水平。

2 区域加权平均灰度值计算方法

传统图像的环境亮度采集和评估指标有平均灰度和图像亮度直方图等方法［8］。考虑到图像亮度直方图需要对全图亮度进行统计并全排列，涉及到的变量较多，计算量较大，计算速度较慢［9］。本文从时效性出发，选择了使用平均灰度作为采集和环境亮度评价指标，设计了一种区域平均灰度加权算法。

图1 区域划分示意图Fig.1 Area division

由相机成像的特征可知，高亮目标往往在发光中心区域的亮度最高，亮度跟随距离依次衰减。结合工业相机中心对焦的特性，越靠近中心区域的像素值对整体算法的计算影响越大。因此本文算法将整体图像划分为6 个区域，即主级区域（图1 中蓝色区域a）、4 个次级区域（图1 中红色区域b，c，d，e）和其他区域（图1 中白色区域f）。算法进行计算时只选择主级区域a 和次级区域b，c，d，e 进行灰度计算，其他区域不参与计算，由此设计可抛弃无效运算，提高计算速度（彩图见期刊电子版）。

根据计算区域设置方式，图像的平均区域灰度加权值见式（1）：

其中：pz为图像区域平均灰度加权值；Pa为主级区域总灰度值；Pb，Pc，Pd，Pe为次级区域总灰度值；Sa，Sb为主级区域和次级区域像素面积；μ1为主级区域的权重值；μ2为次级区域的权重值。

为了更好地突出中心区域在计算中的权重，结合上述区域关系，设计权重μ1=0.6，μ2=0.1，设计中心区域边长与四周区域的边长比例4∶1，即Sa∶Sb=16∶1。

3 改进“S”曲线的参数控制优化方法

传统的反馈控制调节方法因其整定简便，结构灵活，在控制领域的应用极为广泛，其中较为突出的就是PID（Propotion Integration Differentiation）控制方法。其方法通过比例、积分、微分环节对目标实现反馈控制，在参数不变的情况下可达到较高的调节精度［10］。但是在非线性且时变性较强的环境中，固定参数的PID 反馈调节方法存在一定的局限性［11］。针对可变环境，为了提高PID 控制算法的鲁棒性，目前较为常用的为模糊PID 反馈调节算法，其利用专家经验制定控制规则，通过模糊化的参数整定和解模糊算法对PID参数进行控制［12］。但是受限于整定方式和模糊控制规则，时常出现“模糊规则爆炸”等情况［13］。本文提出一种基于区域化误差阈值的自适应反馈参数调节方法，通过误差整定、调节系数计算和实时调节的方法对反馈调节中的PID 内部参数进行控制，极大地降低了超调出现的可能性，且适应性较强。

本文提出的反馈参数调节方法的输入参数为反馈调节的计算值与设定理论值的误差E，通过如式（2）进行归一化运算：

中国人民银行南京分行营业管理部课题组则完成了对金融支持PPP模式的路径与投资策略的研究。该课题组首先总结了我国PPP项目的基本情况，在借鉴国际经验的基础上，以南京地区为例分析金融支持PPP模式的意愿、路径及制约因素，采用净现值法构造了项目价值模型，对金融支持PPP模式的投资策略进行了研究并提出政策建议［9］。

将误差E带入公式计算得到当前反馈参数计算情况下的归一化系数θ，如式（3）所示：

归一化系数θ用于参数控制的区域化阈值评价体系，如图2 所示。

图2 区域化阈值评价体系示意图Fig.2 Regionalized threshold evaluation system

其中区域依据自主设定的E1，E2，E3划分区域控制参数死区、I 调节区、D 调节区和P 调节区。控制参数死区范围即参数优化完成区域，P 区、D区、I 区分别为对应反馈调节参数的调节区域。由于改进后的“S”曲线在E=0 处的斜率最大，且在E=0 附近可近似看作线性函数，考虑调节的速度和稳定性，设定E3=2E2，E1为零点附近值，根据经验设定E1∈[0.05，0.1]。当计算误差落入相应区域时，算法通过归一化系数θ计算得到用于参数调节的参数控制系数φ，其计算公式如公式（4）所示：

若为P 区范围，如式（5）：

此时反馈调节中的参数D、参数I为0。

若为D 区范围，如式（6）所示：

若为I 区范围，则调整反馈调节中的参数I为e-15，其他参数不变。

计算得到的参数控制系数φ通过如公式（7）所示计算得到调整后的参数值。

计算后的参数作为下一次反馈调节参数参与调节。由上过程往复进行，直至归一化系数θ位于死区范围，即认定其参数自适应完成，停止参数调整。

4 成像评价与实验测试

4.1 成像评价标准

目前常用的图像质量评价方法有最小可分辨率对比度、调制传递函数、对比度信噪比等方法［14］。为了更好地评价本文所述算法的性能与可行性，本文采用Laplacian 清晰度标准作为评价标准。本文选择了Laplacian 梯度函数作为本文图像评价算法的主要计算函数。Laplacian 梯度函数基于Laplacian 算子，计算X和Y方向上的梯度值，之后进行累加计算，见式（8）和式（9）：

其中：DLap（f） 为图像（x，y）点的Laplacian 值，G（x，y）为图像X，Y方向梯度权值。

利用Laplacian 算子计算后得到原图像的Laplacian 转换图像，此时图像像素值即为经过计算后的Laplacian 值。根据所得到的Laplacian 转换图像计算其标准差值，并利用该标准差值对曝光调节的质量进行评价，标准差值越大进而说明图像像素值分布分散，图像质量越高。图像的标准差即距离图像均差平方的算术平均数的算术平方根，可以反映图像像素值与图像像素均值的离散程度，进一步反映了图像的成像质量［15-17］。经过Laplacian 转换后的图像梯度明显，使用标准差可有效反映图像的清晰程度和有效信息量，有利于对成像后的图像质量进行评估。

4.2 实验平台搭建

本文所述算法运算平台使用移动版PC，处理器为Intel I8-8750H，显卡为NVIDIA GeForce 1050，内存为16 GB。图像采样设备使用海康工业相机MV-CA020-10UC 搭配海康威视MVLHF0804M-10MP 定焦镜头。海康工业相机MVCA020-10UC 为200 万像素的CMOS 工业面阵相机，兼容USB3 Vision 协议。图像采集对象为可调节100 W 白炽灯，并使用工业图像采集台（如图3 所示）进行相关实验。亮度测量设备采用希玛AS803 亮度检测仪。在软件方面，本文所述算法基于C++开发，使用海康工业相机SDK 进行相机硬件调用与控制，使用OpenCV（版本4.5.1）开源视觉软件库进行图像处理。

图3 本文算法实验平台示意图Fig.3 Experimental platform for algorithms

4.3 实验测试数据

为验证算法有效性，本文以可调为对象使用实验平台设计实验，获得实际环境中的曝光值控制曲线，并对其进行分析。同时，本文设置了对比实验。使用工业相机硬件自动曝光算法、图像直方图法作为对比实验方法进行实验。通过不同方法计算数值分别调节曝光值，计算每帧图像的Laplacian 转换图像的标准差值，之后与本文所述算法进行对比，得出结论。

4.3.1 基于本文算法的曝光控制实验

为了验证算法的曝光控制性能，本文设置了实际环境下的曝光控制实验，以可调节亮度的白炽灯作为实验的高亮发光对象，并通过设定区域平均加权灰度值pz的上下阈值控制整体调节算法是否介入。针对图像过曝，在实验设置的初始曝光为8 000，设定的pz上阈值为115 pix，下阈值为 25 pix，调节区划分E1=0.1，E2=10，E3=20。在实验中白炽灯亮度逐渐增大，直至最高亮度，采集计算曝光值，获得曝光控制响应曲线，如图4 所示。之后以相同的参数设定进行5 次重复实验，如表1 所示，其中调节时间为计算从开始进入调节过程到进入死区时的时间。

由图4 可知，在初始阶段，相机根据设定的初始曝光值8 000 进行成像。随着白炽灯亮度逐渐增大，超过了设定的区域加权灰度值的上阈值，算法开始介入并对相机曝光进行控制，经过0.08 s 后误差落入死区中，曝光调节和参数调整停止并按照落入死区时的计算曝光值进行成像。由上可知，算法控制效果较为明显，超调量较小，并能以较快速度完成收敛过程。

经过上述参数设定进行重复实验，如表1 所示，本文所述算法的调节时间较为稳定，平均调节时间为0.08 s，调节速度较快。

表1 曝光控制参数实验数据表Tab.1 Exposure control parameters experimental data

4.3.2 本文算法与相机硬件自动曝光方法对比实验

工业相机自动曝光采用硬件调节，即使用相机自身感光器件通过像素阵列的数字控制和预处理电路进行曝光控制［2］，达到清晰化处理。本实验采用海康威视工业相机自身的自动曝光功能控制，进行相应对比实验。实验中的相机成像图如图5 所示。

实验计算数据见表1 所示。根据上述实验数据分析，在同一亮度下，相机硬件自动曝光算法的Laplacian 图像标准差值较小，说明此时经过Laplacian 算子变化后的图像亮度分布较为分散，出现同亮的情况，边缘较不突出，反映出抑制高亮能力较弱。相比较而言，本文算法的Laplacian图像标准差值较大，说明边缘突变明显，图像中的部分与周围环境产生较大的对比度，反映出算法抑制环境亮度的能力较强。

图5 设置亮度自动曝光调节对比图Fig.5 Comparison with automatic exposure adjustment

表2 与相机硬件自动曝光方法对比实验数据表Tab.2 Comparison with the camera hardware automatic exposure method

4.3.3 本文算法与基于图像直方图特征的曝光调节法的对比实验

图像直方图是对图像像素数据分布的一种图形表示方法，其特征可有效表征当前图像的亮度分布和特点。图像灰度直方图是灰度级的函数，它代表在整个图像中灰度值出现的像素个数，从一定程度上反映了像素出现的频率［18］。利用图像灰度直方图可以清晰的显示出图像中的灰度值分布，从而通过直方图特征获得相机曝光值的近似关系进行调节。本次对比实验选用图像直方图的最大值特征作为曝光调节依据，并采用阶梯式调节方法，采取的直方图调节方式见表3 所示。

表3 直方图曝光调节策略Tab.3 Histogram exposure adjustment strategy（pix）

实验中稳定调节后的相机采集白炽灯图像见图6 所示，实验对比计算数据见表4 所示。

图6 本文算法与直方图曝光调节方法实验对比图Fig.6 Comparison with histogram exposure adjustment

根据实验的对比数据可以看出，本文算法调节后的Laplacian 图像标准差值相较于直方图曝光调节方法具有较大的优势。在同一亮度下，本文算法调节后的Laplacian 图像标准差值较大，说明图像中具有边缘较为凸显的区域，即算法抑制了高光环境造成的亮斑和亮块。

表4 与直方图曝光调节方法的对比数据表Tab.4 Comparison with histogram exposure adjustment method

5 结论

本文提出了一种工业相机过曝光自适应控制优化算法。算法将区域平均灰度加权值作为反映图像亮度强度标准，通过反馈调节方法计算曝光值，之后通过基于改进的“S”曲线对反馈调节的内部参数进行优化调节控制，进而实现对复杂环境的自适应曝光调节。经过实验论证，算法完成一次全过程调节耗时0.08 s。在同等条件下与相机硬件自动曝光算法和基于图像直方图特征的自适应曝光算法比较，所提算法的图像Laplacian 平均标准差分别提高54.3% 和20.6%。在今后的研究中，将进一步提高算法控制的平滑性以及更高的自适应能力，并将其推广至更多复杂环境中。