基于改进的全局阈值的唇部提取方法

摘要：通过唇读获得的视觉信息可提高语音识别的识别率，而一个完整的唇读系统由口唇定位，口唇运动特征提取和口型训练，识别三部分组成。口唇定位是唇读系统的首个环节，它的定位准确与否对口唇运动特征提取、口型识别的影响很大，该文采用了一种改进的全局阈值分割法能够准确地提取唇部。

关键词：改进的全局阈值；口唇提取

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）12-2855-02

1 概述

在嘈杂环境下（汽车内、机场、展馆及公共场所等），语音信道被噪声污染，而视觉信道不受噪声的干扰，能够提供非常好的信息补充，从而提高噪声环境下的语音识别率。或者对于有听力障碍的人，语音的作用不明显，视觉信息成为他们辨别说话者内容的主要信息来源，鉴于以上原因，唇读技术越来越成为被关注的研究对象，成为人工智能研究的一个新方向。而一个完整的唇读系统由口唇提取，口唇运动特征提取和口型训练，识别三部分组成。口唇定位是唇读系统的首个环节，它的定位准确与否对唇动特征提取，口型识别的影响很大，故提出一个准确提取唇部的方法很重要。

2 算法理论基础

2.1相关算法介绍

先前的唇部提取方法有很多，主要的有排红法【1】（Red Exclusion）和基于Lab空间a分量的唇部提取方法[2]等。排红法是一种有效的唇部提取方法，由于肤色和唇色都包含大量的红色分量，故该方法使用RGB空间中的G和B分量来反映唇色和肤色的差异，但这种方法仅对白种人效果较好。因此，针对黄色人种的唇部提取方法被提出，如文献[3]基于色度的方法通过分析唇部和肤色的色度分布和色度特征提取唇部区域，但只对某一种肤色，如白色或黄色。而基于Lab空间a分量的唇部提取方法是通过分析唇色和肤色在色度空间的聚类性，得知在Lab空间的a分量中唇色具有较好的聚类性且和肤色有较好的分离性，然而该方法中阈值提取采用了整个唇部区域的均值和协方差之和，考虑到系统的普遍性，采集的每幅图像中的唇部区域中肤色和唇色比例不同，使用全局的阈值分割法会使得效果变差。基于以上原因，该文提出了一种改进的全局阈值的唇部提取方法。

2.2嘴唇区域定位

首先采用基于haar-like特征的adaboost分类器检测出人脸区域，由于唇读过程中唇形会发生各种各样的变化，所以不宜直接采用分类器检测嘴唇区域，根据五官在人脸区域中的分布确定嘴唇区域，文献【4】中提出利用眼睛的位置定位嘴唇的位置，由于受眼镜等的影响可能会导致利用眼睛的位置进行定位不准确，故本文中采用鼻子位置来定位嘴唇，根据鼻子、嘴在人脸中的分布确定出嘴唇区域，如图1所示，在该嘴唇区域中仅有唇色和肤色，便于以下进行准确的口唇提取。

图1 嘴唇定位

2.3口唇提取

由于在上述提取出的嘴唇区域中，每幅图像的唇色和肤色所占面积不同，若像文献【2】中所述利用均值作为阈值进行分割，针对嘴唇区域占面积较小的区域，采用的阈值会偏大，导致提取的唇部不完整；相反，针对嘴唇区域相对面积较大的区域，采用的阈值会偏小，或许会提取到部分肤色区域。因此本文采用一种改进的全局阈值分割法。

阈值分割法分为全局阈值分割法和局部阈值分割法，局部阈值分割是阈值分割法的方法之一，即原图像划分为几个子图像，并对每个子图像选取相应的阈值，全局阈值分割方法在图像处理中应用比较多，它在整幅图像内采用固定的阈值分割图像。该文的基本思想即将上述定位的嘴唇区域划分为16个子区域，求取每一个子区域的灰度值均值，之后对每一个子窗口加权求值得到整幅图像的分割阈值。

具体步骤如下：

1） 将嘴唇区域划分为16个子区域，区域越多，获得的分割阈值更准确，但是区域越多，定位嘴唇的时间也越长，所以选取的区域为16个；求取每个子区域的均值，由于一些子区域中仅有肤色或唇色，另一些中可能唇色和肤色混合，故每个子区域的权值不同。

2） 求每个权值；文献【2】得知，唇色与肤色在Lab色度空间中的a分量上具有良好的可分离性，故本文从确定嘴唇区域的二分之一宽处的一条直线上从上往下查找第一个灰度值变化较大的点，将该点作为唇色灰度值，为保险起见，该文选用该点以下的第五个像素值作为唇色灰度值。将（1）得到的每个均值与该灰度值求绝对值差，差值越大，则代表该区域包含的唇色面积相对较小，故对全局分割阈值的贡献越小，则得到较小的权值。为了实现以绝对值差作为进行权值大小的衡量，将求得的绝对值差求倒数，再将16个子区域的绝对值差的倒数求和，则权值为每个子区域绝对值的倒数除以16个子区域绝对值的倒数和。

3） 利用上述每个子区域的阈值加权和作为分割阈值提取出口唇区域。

3实验结果

实验中分别采用了排红法图2、基于Lab空间的a分量的唇部提取法图3和本文方法图4，从实验结果可以很好得看出本文方法还是具有一定的可取性的。

参考文献：

[1] Lewis T W， David M W. Lip Feature Extraction Using Red Exclusion[C] 2000.

[2] 梁亚玲，杜明辉.基于Lab色度空间a分量的唇部提取方法[J].计算机工程，2011（3）.

[3] 张志文，沈海斌.基于色度分布差异性的唇部检测算法[J].浙江大学学报（工学版），2008，42（8）：1355-1359.

[4] Stiefelhagen R，Yang J. Real Time lip Tracking for Lip-reading. 2003.