基于NLP与Retinex的视频帧间FIF分析研究

蒋 萍 ，王子民

(1. 广西警察学院 信息技术学院，广西 南宁530028；2. 桂林电子科技大学 计算机与信息安全学院，广西 桂林 541004)

1 引言

信息技术的发展使得图像识别受到广泛关注，研究人员对图像模型训练识别时，希望能够得到准确且特征明显的分析模型。尤其在目标识别和故障诊断等方面，图像特征处理技术的应用更为普遍。利用图像处理可以实现增强、降噪和修复等，从而提升图像的识别效果，适应不同场合的需求[1-3]。

在实际应用中，大多数图片效果差强人意，需要借助相应的图像处理技术[4-6]来提取图像的亮度，处理图像光晕和色彩等问题，因此对模糊图像的特征进行分析十分重要。文献[7]将RGB各个通道中的低照度图像转换到HSV各个通道中，分别对饱和度分量和亮度分量进行自适应性拉伸和Retinex增强处理，在增强图像亮度的同时，不仅降低了噪声干扰，还抑制了高亮区的光晕，该方法具有一定的有效性，但图像整体层次相对较差。文献[8]分别通过不同尺度的快速亮通双边滤波器和Retinex理论获得图像光照分量与图像反射分量，结合多层亮度映射方法对光照分量进行增强处理，利用多尺度细节方法对反射分量进行提升处理，该方法可以使图像的亮度和对比度明显改善，但局部标准差平均值有待提高。文献[9]以改进的双边滤波器去除图片的噪声干扰，对图像双边信息起到保持作用，并将S型函数曲线和Retinex理论相结合对图像颜色进行恢复处理，同时增强图像的对比度和饱和度，该方法能够有效提高图像的清晰度和对比度，但计算复杂度较高。

基于以上研究，针对图像的特征分析，本文提出一种基于NLP与Retinex相结合的研究方法，通过对HSI亮度通道滤波，并对滤波后的细节层与基本层进行构建，实现对模糊图像的处理，在RGB空间完成对模糊图像亮度的恢复。

2 模糊图像特征分析

2.1 基本特性分析

正常图像与模糊图像的最大区别就是颜色衰减特性。在同一场景不同条件下拍摄的视频图像具有很大差别，由亮度对比分析研究，正常图像的亮度值呈柱状分布，且颜色分布较为均匀；然而模糊图像的亮度值随模糊程度的增加呈线状分布，且分布密度较大、颜色特征不明显。

通过视频图像中最亮与最暗区域间的亮度等级来衡量正常图像和模糊图像的对比度特性。图像的对比度特性通常由对比率决定，本文结合直方图对图像的对比度特性进行分析。正常图像像素点分布较为分散，灰度值的动态范围分布较为平均，具有较大的对比度；然而模糊图像像素点分布较为集中，灰度值的动态范围分布较窄，并且随着模糊程度的增加，灰度值的动态范围更加狭隘，对比度不断降低。

通常在对图像特性分析时只考虑图像的时域灰度值，然而这样的分析结果并不全面，因此本文对视频图像的时频域特性进行分析。图像信息在频域中具有不同的表现形式，图像信息平缓的部分为低频，图像信息剧烈的部分为高频。与正常图像相比，模糊图像的频域特性白点分布较少、较为分散。模糊图像高频信息的边缘损失较严重，低频信息轮廓亮度更为单一。

2.2 质量评价准则

对视频帧间模糊图像特征分析算法来说，对模糊图像的质量做出准确评价非常重要，这直接影响到算法的性能。本文基于多种评价指标，通过图像本身特征，对视频帧间模糊图像的质量进行评价。对于视频模糊图像处理过程中，由于数据库中的图像与采集的视频图像间缺少可参考的图像，因此需要选择评价指标对图像处理性能进行分析，本文选择几个经典的指标用于对模糊图像特征进行对比与分析。

平均梯度：表示图像边界灰度值有明显变化区域的变化率，是视频图像清晰与模糊的度量。平均梯度值越小，图像边界信息越少，图像越模糊，反之越清晰。平均梯度公式可表示为

(1)

其中，N和M表示图像的分辨率；g(x，y)表示图像的像素灰度函数。

边缘强度：是衡量图像边缘亮度值连续与否的重要指标。其值越小，图像边缘连通性越差，图像越模糊。边缘强度用公式可表示为

(2)

其中，Nedg＿x表示水平方向图像边缘检测的邻域；Nedg＿y表示垂直方向图像边缘检测的邻域。

信息熵：表示图像所含信息量的多少，是描述图像信息量的重要指标。信息熵的值越小，图像越模糊；反之越清晰。信息熵用公式可表示为

(3)

其中，k表示图像灰度值的亮度级别；pi表示图像灰度级的概率。

方差：表示图像的变化程度，是图像像素离散程度的重要指标。方差越小，图像细节越朦胧，图像变化程度越小。方差用公式可表示为

(4)

3 自然语言处理技术研究

NPL处理过程主要包含信息的提取、分析、编译和转换四方面。为了更好地理解每幅图像的特征，本文采用三种NPL技术对图像特征进行处理。

词干提取：词干提取是去除单词词缀得到词根的过程，其将具有相同词根的单词化为一个整体，增加词根出现的概率，从而有利于图像模型的分类。

词形还原：词形还原主要是采取词干转换方法，把复杂的单词转变成基础形式的过程。将具有相同含义但不同形式的单词化为一个整体，可方便后续图像处理和分析过程。

停用词转移：停用词转移是将对图像文本没有影响的单词过滤掉，由于一些停用词的特征可能造成图像文本分类错误，因此删除停用词有利于图像模型的正确分类。

分词的质量直接影响到对图像特征的分析，基于统计分词方法，用词语同时出现的概率表示词的可信度，公式可表示为

(5)

其中，P(X，Y)表示单词X和Y同时出现的概率；P(X)表示单词X在语句中出现的概率；P(Y)表示单词Y在语句中出现的概率。可信度越高表示单词X和Y组成词语的概率越高，当其高于一定阈值时，便可进行图像的分词处理。

基于统计的分词方法应用较为广泛，但分词的结果与精度受训练文本数据的影响，只有通过训练大量的文本数据，图像的分词结果才更加准确。然而词性标注可以很好的解决这一问题，词性标注的本质是一个分类问题，它通过非线性激活函数完成图像文本的特征提取，完全取代了传统的人工抽取方式。词性标注的特征提取不局限于上下文窗口，这一特征对图像分析提供了帮助，本文采用HMM模型的词性标注算法。

HMM是一个包含集合和矩阵的统计模型，主要包含的矩阵为：隐藏状态转移矩阵、初始时刻状态概率矩阵和观测状态转移矩阵。

隐藏状态转移矩阵：图像文本状态的数量为M，那么文本矩阵的大小为M*M，每行概率的和为1，表示需要推测的量。隐藏状态转移矩阵可表示为

(6)

其中，Tol(Bt，Bt-1)表示词性Bt和Bt-1总共的次数；Tol(Bt-1)表示词性Bt-1总共的次数。

初始时刻状态概率矩阵：表示图像文本在总资料库统计中隐藏状态发生的概率，概率和为1，表示确定的量。

观测状态转移矩阵：表示在不同隐藏状态下图像文本得到不同观测状态的概率，图像本文状态的数量为N，那么观测状态文本矩阵的大小为M*N，每行概率的和为1。隐藏状态与观测状态关系如图1所示。

图1 隐藏状态与观测状态关系

依据图像模型分析任务的侧重点，词性标注的重点问题是解决A和B的计算。在词性标注的语料库中，任何图像的标注都可视为由被标注词性类别的单词所组成的完整句子构成。计算机通过语料库的统计获得各个单词出现的总次数、词性频率，以及后续词性的总次数，然后通过这些参数计算A、B和C的值。观测状态转移矩阵可表示为

(7)

其中，Tol(Ct，Bt)表示词性Ct和Bt同时出现的总共次数。通过对统计语料库的训练，可得到的词性个数为M、单词个数为N、且隐形状态转移矩阵为M*M、状态观测转移矩阵为M*N的参数和矩阵。

4 改进的Retinex算法

Retinex是一种图像增强算法，主要建立在三个理论基础上：人眼观察到的原本世界是没有色彩的；红、绿、蓝是色彩基本构成的三原色；图像像素点的色彩由三原色决定。Retinex算法原理如图2所示。

图2 Retinex算法原理

由物体的成像原理可知，之所以能看到物体是因为光线投射到物体上，经过物体反射的光线进入人眼，人类才观测到物体。图像在人眼上最终的成像由Retinex算法原理可表示为

O(x，y)=R(x，y)·I(x，y)

(8)

其中，R表示反射波；I表示输入波。Retinex算法的目的是降低或彻底消除光照强度对图像质量的影响。利用高斯滤波核函数对图像光照强度进行简单计算，并结合对数变换消除原来图像中的光照强度，优化后的图像用公式表示为

Pout(x，y)=logO(x，y)-log[Fcen(x，y)]*O(x，y)

(9)

其中，*表示卷积符号；Fcen表示中心环绕函数，公式可表示为

(10)

其中，α表示归一化系数；σ表示高斯环绕尺度，且满足

∬Fcen(x，y)dxdy=1

(11)

由于Retinex算法中入射光是没有波动变化的理想光线，而实际生活中，图像的四角边缘经常有光晕等现象出现，因此本文采用加权最小二乘法对入射光线进行优化处理。首先寻找一个可以较好处理图像边缘特性的低通滤波器，然后通过最小二乘法对结果图进行平滑处理，使图像边缘不失真，较好地还原原始图像，加权最小二乘法低通滤波器目标函数可表示为

(12)

其中，Spix表示图像像素点的位置；I表示输入图像；O表示输出图像；β表示与图像的平滑度成正比的正则项参数；φ表示权重。图像的正则化处理，可以使输出的图像更加细致，通过权重降低图像边缘梯度，可完成图像基本信息的保存。

对于Retinex算法中图像的光晕问题，本文引入HSI空间，对图像的灰度级别进行重新排列，将RGB图像转换到HSI空间中，并对通道中的亮度和色调相结合得出新的图像，灰度级算法公式可表示为

logIdeal=γ·Fdet(x，y)+ηFbas(x，y)

(13)

其中，γ表示图像细节层系数；Fdet表示细节层函数；η表示图像基本层系数；Fbas表示基本层函数。改进Retinex算法的核心是利用高斯环绕尺度，对图像的输出结果进行加权求和，约束最小二乘滤波色调H对噪声的敏感度，复原图像平滑度量的最优值，约束条件可表示为

(14)

且

(15)

其中，Lope表示拉普拉斯算子；f(x，y)函数的大小为S×T；Sout表示图像的输出大小；Slig表示亮通道大小；Ψ表示退化图像的估计大小；Nstr表示加强噪声。通过改进后的Retinex算法可以使图像的效果更佳平滑且细腻。

5 仿真与结果分析

为了验证基于NLP与Retinex的视频间模糊图像特征分析的有效性，利用MATLAB软件进行仿真测试。实验中的视频图像源自于百度图像库里的数据，将本文的方法与文献[7]、文献[8]和文献[9]中的算法进行对比。结合本文给出的图像评价准则，验证各种算法的评价结果，模糊图像的评价结果如表1所示。

表1 模糊图像的评价结果

从表中可以看出，文献[7]算法导致原始图像的平均梯度值较小，图像边界信息获得的较少。文献[8]算法的方差较大，图像的评价效果不错，但视觉效果较差，很容易造成图像失真。文献[9]算法整体效果较好，对比度与颜色较为集中，但针对于图像较为饱和颜色的区域评价效果较差。而采用本文算法处理后的模糊图像，平均梯度相对于原图提高了约2倍，方差提高了约2.1倍，对模糊图像具有较好的综合评价效果。

为了进一步验证本文算法的有效性，采用均值方差和信噪比进行评估。均值方差越小，图像噪声越小，图像越接近原本图像。峰值信噪比越大，分贝越大，效果越好。信噪比为有用信号与噪声的比值。将本文算法与传统算法进行实验对比，结果如表1和图3所示。

表2 两种算法的对比结果

图3 模糊图像处理效果对比

从表中可以看出，本文算法的均值方差低于传统算法，所以处理后的模糊图像更接近原本图像，且图像更加细腻。本文算法的分支信噪比相对较大，增强效果更好，由于本文算法削弱了噪声值，所以模糊图像的色彩均衡性更好。直观对比图像，文本算法图像色彩基本还原模糊图像本身的颜色，而传统算法整体效果太暗，没有很好地还原原本图像的颜色，综上所述，本文算法对模糊图像分析与处理效果最佳。

6 结束语

本文基于NLP与Retinex方法相结合实现对视频帧间模糊图像的特征分析。构建视频帧间模糊图像质量评价准则，采用NPL技术对图像特征进行处理。基于改进的Retinex算法处理模糊图像中的光晕问题，增强对图像的处理效果。为了验证基于NLP与Retinex相结合方法对视频帧间模糊图像特征分析的有效性，选择百度图像库里的图像数据，在MATLAB软件上与其它方法进行仿真对比。实验结果表明，本文算法对模糊图像的评价具有较好的评价结果，平均梯度和方差均提高了2倍左右。直观对比图像，文本算法图像色彩基本可以较好地还原模糊图像本身的颜色，对模糊图像分析与处理效果较好。