稀疏表达的夜间图像采集分辨率无关处理技术

卢清秀，任成森，叶文权

(广东工业大学华立学院，广东 广州 511325)

稀疏表达的夜间图像采集分辨率无关处理技术

卢清秀，任成森，叶文权

(广东工业大学华立学院，广东 广州 511325)

在图像采集和三维重建中，需要进行图像分辨率无关处理，降低光照和环境因素给分辨率带来的影响，因此提出一种基于稀疏表达的夜间图像采集分辨率无关处理技术。首先对采集的夜间图像进行小波降噪处理，对夜间图像的阴影区域和亮度区域进行曲线分割。在夜间光照的多重色差条件下，用标准化稀疏先验的正则化表达方法进行图像均衡锁光处理，采用图像像素均匀遍历方法进行图像子块连续遍历，实现夜间采集图像的阴影偏差补偿，实现夜间图像采集的分辨率无关处理，解决图像分辨率带来的图像重构问题。仿真结果表明，采用该方法进行夜间图像采集分辨率无关处理，有效提高了图像的成像质量和可分辨度，峰值信噪比和计算开销的参量指标优于传统方法。

稀疏表达；夜间图像；图像采集；分辨率；三维重建

0 引 言

随着图形识别技术、数据库匹配技术的快速发展，可以通过图像扫描和三维重建方法构建图像数据库，把现实中的物体进行虚拟化，从而使实体在虚拟空间进一步操作。在图像识别和三维重建系统设计中，利用实时视频采集及控制，目标检测与追踪等技术进行目标物体的整体数据重建，完成目标物体的信息采集[1]。在三维图像数据库建模中，通常需要对夜间图像进行采集和处理，夜间图像的采集中受到采集设备、气候、光照以及色差等因素的影响，导致夜间采集的图像可能出现亮度不够、噪点过多和鬼影等现象[2]。因此在夜间图像采集和三维重建中，需要进行图像分辨率无关处理，降低夜间图像采集中照片分辨率、拍摄距离、对焦准确性、灯光系统等因素带来的影响。

在受夜间图像采集的环境干扰和曝光不足等因素的影响下，图像细节展现和美化效果不好，分辨率不高。对夜间图像采集的分辨率无关处理包括了图像的降噪、图像增强和图像的色差均衡及补偿等。传统方法主要有基于小波降噪的分辨率无关处理方法、多重色差核补偿方法、稀疏正则化分解方法和循环跟踪像素点跟踪融合方法等[3-4]。上述方法通过对夜间采集图像进行降噪处理后，结合相关特征提取和信息融合方法，实现图像的细节增强及白平衡均衡处理，降低分辨率对图像采集的影响，实现分辨率无关处理，取得了一定的效果。其中，文献[5]提出一种基于白平衡偏差补偿和平滑美化的夜间多重光照下采集图像的分辨率无关处理方法，采用图像盲去卷积算法进行图像平滑，对夜间采集的色差图像自动划分目标空间，通过形态学分割方法实现色差图像阴影区域和亮度区域的准确划分，提高了图像成像质量和美化能力。但是该方法在进行色差均衡最佳位置搜索时，容易陷入局部最优，导致图像成像中出现过度曝光或亮度不足的问题；文献[6]提出一种基于稀疏表达残差均衡的自然场景图像的分辨率无关处理技术，并实现对自然场景中运动目标的有效检测和三维重建；文献[7]采用阴影概率模型构建自然场景运动图像的模糊色差核，在修正S-V模型中进行模糊核敏感特征的稀疏表达，采用TV正则化方法对图像进行盲去卷积处理，降低光照和环境因素对分辨率带来的影响[8]，提高了对运动目标的成像质量，以及对运动目标图像的检测和重建性能。但是该方法的计算开销较大，且在环境干扰较强的情况下成像质量不好。

针对上述问题，文中提出一种基于稀疏表达的夜间图像采集分辨率无关处理技术，并对其进行了实验验证。

1 夜间图像采集及降噪预处理

1.1夜间图像的采集与像素特征表达

为了实现对夜间图像的三维重建与图像分辨率无关处理，降低照片分辨率、拍摄距离、对焦准确性、自然光照及灯光系统给夜间图像采集和三维重建带来的成像质量方面的影响，需要进行图像的分辨率无关化处理。首先需要进行原始图像采集和像素特征稀疏表达描述[9-11]。夜间图像的采集采用数码成像设备NikonD7200，采用自动对焦镜头，设定的感光度ISO为100，光圈F14，在夜间色光背景下，夜间采集的图像在4×4网格区域内进行像素特征表达，分块结构模型如图1所示。

图1 图像的4×4子区域网格结构模型

图像的视觉显著性取决于获取的图像信息及分辨率等因素，计算每个像素的颜色子空间，得到的图像结构相似度为：

(1)

通过前帘同步和后帘同步处理，在特征尺度d(x)的约束下，得到夜间图像采集的多重色差核系数c(X,Y)和边缘细节特征s(X,Y)，求得两者之间的差异性特征变量，得到夜间图像采集的单点对焦角点：

(2)

基于多重色差核矩阵分解，设采集到的图像输出数学模型为g={g(i),i∈Ω}，在图像采集过程中，采用电子稳像方法进行防抖动处理，假设图像的生成序列为：

c1={i|i∈S},c2={{i,i'}|i'∈Ni,i∈S},

C=c1∪c2

(3)

其中，i=1,2,…,T，表示像素序列的长度。

用图1所示的3*3的网格分割核函数进行子块连续遍历处理，得到整幅采集的夜间图像的尺度信息为U0(zQ)、U1(zQ)。利用邻域内像素点的子带信息，在稀疏化特征表示约束条件下，采用全局显著图融合方法进行图像像素特征表达，得到夜间图像的采集像素特征表达式为：

g=k⊗f+n

(4)

其中，⊗为卷积算子；g为图像表面点均匀分布的采样点；f为一组清晰的训练图像；k为模糊核，又称点扩散函数(Point Spread Function，PSF)[12]；n为离散采样约束系数。

根据上述对夜间图像的采集结果和像素特征表达输出，为图像采集的分辨率无关处理提供了准确的输入数据。

1.2图像降噪预处理

在图像的采集过程中，受到环境和光照以及采集手段等因素的干扰，导致图像出现噪声，需要进行图像降噪处理。图像降噪同时也是分辨率无关处理的重要一步，文中采用小波降噪方法进行图像降噪，采用LWT母小波作为基函数，母小波表达式为：

(5)

(6)

其中，Ts为三维非线性空间映射周期；Tp为图像采样周期；Tc为码片周期；cj为像素点的加权平均位置；Np为小波分解，且Tp=NpTc；ai为二值图像的结构相似度；ε为图像灰度像素偏移常量。

基于复小波复变换模型，构建小波降噪滤波器的传递函数为：

(7)

其中，H为小波降噪的幅度增益；M为簇的数目；K(m)为小波降噪处分解尺度上的多径数目；αmk为第n簇内夜间图像的色差对比度；Tm为第m簇到达时间；τmk为自适应滤波的时延。

假设图像具有单尺度特性，输入图像s(t)经过小波降噪的多径信道后，接收端输出的图像像素特征表达为：

(8)

其中，wmk为小波函数族ψa,b通过ψ(t)层仿射变换的幅度增益H和加权系数αmk；v(t)为加性高斯白噪声。

在夜间多元色光背景下，通过如下小波变换实现图像降噪：

(9)

(10)

其中，η为离散采样点的经度角；φ为纬度角；R为模板匹配的半径；D为旋转坐标系的直径。

运用上述降噪处理来调整图像的边缘亮度和灰度，提高夜间采集图像的成像质量。

2 夜间图像采集分辨无关处理算法的改进实现

在上述夜间图像采集及降噪预处理的基础上，文中提出一种基于稀疏表达的夜间图像采集分辨率无关处理技术，在夜间光照的多重色差条件下，用标准化稀疏先验的正则化表达方法进行图像均衡锁光处理，进行图像成像和三维重建优化。

2.1基于稀疏先验正则化表达的图像均衡锁光

在模板的像素坐标内，接收到的待处理的夜间图像降噪的输出像素序列x(t)在接收端进行超像素特征分解和灰度信息叠加，信息融合后的输出特征p(t)经时延和加权后，在仿射不变模型进行高频分解和模板匹配[13-15]，得到在当前帧的观测区域内的稀疏先验正则化函数为：

(11)

当NS=1时，由参数t决定模板的像素坐标，接收的图像边缘轮廓特征值可表示为：

(12)

由于夜间图像采集受到不同光照颜色的影响，导致图形的纹理信息簇是稀疏的，对上述进行标准化稀疏表示，用筛选出来的子块替换前景，得到输出图像为：

(13)

其中，qj为概率权重；aj为最稀疏表示系数；cj为一个加权乘积系数。

将前i个样本得到的稀疏表示矩阵和每个像素为中心采样的子块分别记为W(i)和D(i)，加入第i+1个训练样本，得到稀疏先验正则化迭代函数为D(i+1)，即

(14)

(15)

(16)

在修正的模板匹配模型中，基于稀疏先验正则化表达方法，得到图像均衡锁光的迭代函数为：

(17)

根据加权递归最小二乘学习方法，得到图像均衡锁光后的分辨率稀疏先验约束函数为：

D(i+1)=B(i+1)C(i+1)=

(18)

通过上述方法进行图像均衡锁光，为实现图像采集的分辨率无关处理提供了配准度更好的像素特征输入。

2.2图像采集分辨率无关处理实现步骤

(19)

(20)

利用夜间图像的结构和稀疏表示模型，实现夜间图像采集的分辨率无关处理，解决图像分辨率带来的图像重构问题，算法实现的主要步骤为：

(1)设定最大训练步长和迭代步数，初始化D(1)和C(1)；

(2)根据图像采集集合降噪输出的结果，在训练集中选择像素样本进行图像正则化处理，输出xi+1；

(3)依据第i次迭代，得到模糊核矩阵D(i)以及图像像素特征的稀疏表示矩阵W(i)；

(4)计算图像的先验知识zi+1=xi+1-D(i)W(i)；

(9)若i小于设定的迭代次数，i=i+1，则转步骤(2)；

(10)若i大于设定的迭代次数，加权递归最小二乘学习结束，D=D(i+1)，W=W(i+1)；

3 仿真实验与结果分析

为了测试文中方法在实现夜间图像采集优化处理方面的性能，对其进行仿真实验。实验建立在Matlab仿真工具基础上，实验硬件设备使用Inter core i5-2 400 3.10 GHz处理器，图像采集的初始分辨率为1 280×1 024，采集的重复周期Ts=2 ns，曝光持续时间Tm=14 s，时间位移值dPPM=0.5 ns，噪声选择均值为0、方差为0.01的高斯噪声。实验分别对建筑楼和桥梁进行图像采集，得到采集的原始图像如图2所示。

图2 原始图像

由图2可知，在图像采集中由于光线不好和成像设备的条件限制，导致图像采集的分辨率不高，成像质量不好，无法满足系统设计需求，因此需要进行分辨率无关化处理，提高图像成像质量。

采用文中方法对夜间采集图像进行小波降噪处理，进而对阴影区域和亮度区域进行曲线分割，用标准化稀疏先验的正则化表达方法进行图像均衡锁光处理，得到图像的稀疏表达结果如图3所示。

图3 图像稀疏表达结果

以上述系数表达信号为训练信号，进行图像均衡锁光处理，实现阴影偏差补偿和分辨率无关化处理。为了对比性能，图4和图5分别给出传统方法和文中方法的处理结果。

图4 传统方法进行图像采集分辨率无关处理的结果

图5 文中方法进行图像采集分辨率无关处理的结果

从图4和图5的对比得知，采用文中方法进行夜间图像采集后期处理，实现了图像的分辨率无关化处理，提高了图像的成像表达能力，图像采集的感官效果更好，可视性增强，具有明显的改善。

为了定量刻画图像处理的性能，表1列出了不同方法进行图像处理的峰值信噪比和时间开销等参量的对比结果(采用1 000次实验取平均)。

表1 不同方法的性能定量对比

从表1可知，利用文中方法进行夜间图像采集，峰值信噪比较高，说明输出图像的成像质量更好，且计算开销较低，说明实时性较好。

4 结束语

为了降低光照和环境因素对分辨率带来的影响，提高图像的三维重建能力，提出一种基于稀疏表达的夜间图像采集分辨率无关处理技术。实验结果表明，该方法提高了图像的成像质量和可分辨度，感官效果更好，可视性增强，峰值信噪比和计算开销的参量指标更优，展示了较好的应用价值。

[1] 赵 蓉,顾国华,杨 蔚.基于偏振成像的可见光图像增强[J].激光技术,2016,40(2):227-231.

[2] 于 涛,胡炳樑,高晓惠,等.高光谱干涉图像动态追踪补偿方法研究[J].光子学报,2016,45(7):0710003.

[3] 窦慧晶,王千龙,张 雪.基于小波阈值去噪和共轭模糊函数的时频差联合估计算法[J].电子与信息学报,2016,38(5):1123-1128.

[4] 张 伟,张 合,张祥金.小型大瞬时视场光学探测系统优化设计[J].红外与激光工程,2016,45(5):518002.

[5] 蒋建国,金玉龙,齐美彬,等.基于稀疏表达残差的自然场景运动目标检测[J].电子学报,2015,43(9):1738-1744.

[6] 周毅敏,李光耀.多重光照色差下图像平滑美化处理算法[J].计算机科学,2016,43(10):287-291.

[7] 宋 涛,李 鸥,刘广怡.基于空时多线索融合的超像素运动目标检测方法[J].电子与信息学报,2016,38(6):1503-1511.

[8] Evangelio R H,Patzold M,Keller I,et al.Adaptively splitted GMM with feedback improvement for the task of background subtraction[J].IEEE Transactions on Information Forensics and Security,2014,9(5):863-874.

[9] Barnich O,Van D M.ViBe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

[10] Liu Zhi,Zhang Xiang,Luo Shuhua,et al.Superpixel-based spatiotemporal saliency detection[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(9):1522-1540.

[11] Bae S H,Yoon K J.Robust online multiobject tracking with data association and track management[J].IEEE Transactions on Image Processing,2014,23(7):2820-2833.

[12] Jiang X,Harishan K,Thamarasa R,et al.Integrated track initialization and maintenance in heavy clutter using probabilistic data association[J].Signal Processing,2014,94:241-250.

[13] 卞 乐,霍冠英,李庆武.基于Curvelet变换和多目标粒子群的混合熵MRI图像多阈值分割[J].计算机应用,2016,36(11):3188-3195.

[14] 李积英,党建武,王阳萍.融合量子克隆进化与二维Tsallis熵的医学图像分割算法[J].计算机辅助设计与图形学学报,2014,26(3):465-471.

[15] Ortiz A,Gorriz J M,Ramirez J,et al.Improving MR brain image segmentation using self-organising maps and entropy-gradient clustering[J].Information Sciences,2014,262(3):117-136.

AnIndependentProcessingTechnologyofNightImageAcquisitionResolutionBasedonSparseRepresentation

LU Qing-xiu，REN Cheng-sen，YE Wen-quan

(Huali College Guangdong University of Technology,Guangzhou 511325,China)

In the image acquisition and 3D reconstruction,independent image resolution processing is needed to reduce the influence of illumination and environmental factors to the resolution.Therefore,an independent processing technology of night image acquisition resolution is proposed based on the sparse expression.First the acquisition of night image is in wavelet denoising,conducting the curve segmentation of the shadow region and brightness region for night image.In the conditions of multiple color at night,the expression method of regularization of standardized sparse prior is used for the image equalization lock light processing,and image pixel traversal method for continuous uniform traversal of image blocks,realizing the shadow deviation compensation for acquisition image at night and independent resolution processing of that,solving the problem of image reconstruction caused by the resolution.The simulation results show that it can improve the imaging quality and resolution and the its peak signal-to-noise ratio and computing cost parameters are better than the traditional method.

sparse representation;night image;image acquisition;resolution;3D reconstruction

TP391

A

1673-629X(2017)10-0011-05

2016-11-25

2017-03-03 < class="emphasis_bold">网络出版时间

时间：2017-07-19

2016年广东省大学生科技创新培育项目(pdjh2016b0934);2012广东省质量工程项目“独立学院电子信息创新人才培养实验区”(粤教高函[2012]204号)

卢清秀(1979-)，女，硕士，讲师，研究方向为计算机控制算法、人工智能。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170719.1112.080.html

10.3969/j.issn.1673-629X.2017.10.003