基于FPGA的肤色检测设计与实现
2019-09-25董迎春
董迎春
摘 要:在Matlab上采用肤色范围静态肤色建模方式,利用阈值化法统计输入像素在YCbCr色彩空间下色度Cb,Cr的集中落點区域;采取基于YCbCr信号阈值的肤色分割,灰阶值作为肤色检测结果的输出,在Quartus Ⅱ上进行功能仿真,FPGA验证表明:在所用资源比较少的情况下,可实现人体肤色的实时检测。
关键词:Matlab;阈值化;YCbCr;肤色检测;Quartus Ⅱ;FPGA
中图分类号:TP39文献标识码:A文章编号:2095-1302(2019)08-00-03
0 引 言
在先进信息技术的不断迭代更新下,肤色检测已成为与人相关的绝大多数机器视觉[1-2]感官应用的基石,例如手势识别及控制、人的脸部检测及定位和一些不合法规的图片或视频的过滤等。肤色检测不仅可应用于人体脸部及手部动作的识别体系,且在安全保密系统及医疗[3]方面也尤为重要。随着摄像头的大众化,掀起了对视频图像肤色分割[4]的研究热潮。利用FPGA的逻辑粘合性、实时控制性和对高速信号的采集及处理[5],结合OV5640作为视频图像采集设备采集视频信息送至FPGA做肤色检测处理,随后通过VGA显示输出结果。
1 肤色检测设计
在双色差或色调饱和度平面上,不同地域的人肤色变化不大,具备一致性和稳定性,肤色存在差异的原因在于灰阶值而非色度[6]。因此将灰阶值剥离出来,只在CbCr平面检测像素点。
1.1 Matlab统计阈值
Matlab对肤色进行建模,利用imhist函数分别对黑人和黄种人的部分肤色图像Cb和Cr值进行直方图统计,找出其集中落点区域,并将此区域标记为肤色区域。图1所示为不同肤色原图像,图2为对应肤色Cb,Cr值直方图。
由图2、图3可以看出不同人种肤色的Cb和Cr值都集中在Cb=[100,126],Cr=[132,165]区域,因此将落在此区域的像素点认作人体的肤色。
1.2 肤色检测原理
通常的色度彩色信号以RGB形式储存,因此要先将彩色视频信息从RGB信号转换成YCbCr信号,再对其进行肤色分割、肤色建模[7]。YCbCr是一种分别从灰阶值和色度两方面对图像信号进行编码的色彩空间,其中灰阶值、明亮度用Y表示,色调与饱和度用CbCr表示[8-10],其通过输入RGB彩色信号生成,将RGB信号的特定部分依据一定的关系进行叠加[11],公式如下:
转换过程中有浮点小数的存在,由于FPGA很难完成浮点运算,因此将浮点小数转换成定点小数,利用8 bit来表示小数部分,将小数扩大28倍,计算完成后,再右移8位即可,操作如下:
为了提高硬件运行性能,降低组合逻辑的复杂程度,采用流水线处理,将一个复杂的运算分布到4个时钟周期完成转换。
转换完成后,根据Matlab统计的结果,对Cb和Cr分量设置阈值,人体的肤色从背景里分离出来。如果输入信号Cb和Cr分量在阈值之间,将输出设置为全1,即把肤色标记为白色;反之则将输出设置为全0,即把非肤色标记为黑色。阈值设置如下:
100≤Cb≤126
132≤Cr≤165
2 设计仿真
2.1 Matlab仿真
随机找了两张不同肤色的图片,用Matlab仿真肤色检测方案,证明该方案的可行性,结果如图3所示。可见,即便肤色、背景大相径庭,依然能够将人体的肤色成功剥离出来,总体效果较好,说明该方案可行。
2.2 Quartus Ⅱ仿真
继Matlab仿真之后,将其转换成Verilog语言在Quartus Ⅱ平台上进一步验证。
肤色检测的RTL图如图4所示。rgb_to_ycbcr模块完成了RGB565到YCbCr的转换并且将肤色区域用白色标记出来。摄像头通过cmos_write_req_gen模块写入请求并生成读写地址索引;lut_ov5640_rgb565_1024_768模块进行配置查找表;video_timing_data模块进行生成帧读取数据请求;frame_read_write模块进行视频帧数据读写控制;coms_8_16bit模块将OV5640输出的8 bit数据拼接成16 bit RGB565数据,完成一个图像的传输;各模块所需时钟信号均通过PLL模块倍频或分频得到。
3 硬件验证
系统选用Altera公司的CycloneIV系列EP4CE10F17FC8芯片,500万像素的OV5640摄像头组块显示1 024×768分辨率的视频画面,通过DVP接口与FPGA连接,先将视频数据暂存到外部存储器,再从外部存储器将信息读取出来,送到VGA显示模块完成图像的实时传输。其中OV5640通过硬件FPGA的I2C接口来完成寄存器的配置,将摄像头的输出分辨率和显示器的分辨率设置一致,并在0x4300寄存器里将OV5640配置成RGB565输出格式。外部存储器选用同步动态随机存储器,其存取数据的速度比FLASH高,内部结构采用同步接口和完全流水线[12-13],数据的传输速率较高,设计的运行速率大幅提高。
由于光线分布不均及摄像头像素等因素,导致图像出现像素点化且伴有光斑,离摄像头越近,肤色剥离效果越好,图5为肤色检测验证结果。
4 结 语
使用Matlab对不同肤色仿真得到肤色在色调和饱和度上的阈值,利用FPGA的并行性,在使用少量资源的前提下实现肤色检测,将人体肤色从复杂背景中抽离出来,其结构相对来说比较简单且实时控制性强,实验效果较好,同时还能将其封装成专用IP核[14],便于其他系统使用,为后续建立与人体肤色相关的体系或过滤不雅观图片、视频提供基础。
参 考 文 獻
[1]李昌盛,王亚娟,黄启俊,等.基于FPGA的人脸检测系统设计
[J].电子技术应用,2011,37(10):13-16.
[2]潘志庚,邹鹏程,梁荣华.基于特征人脸和肤色统计的人脸检测
[J].系统仿真学报,2004(6).
[3]陈锻生,刘政凯.肤色检测技术综述[J].计算机学报,2006,29(2):194-207.
[4] PHUNG S L,BOUZERDOUM A , CHAI D. Skin segmentation using color pixel classification:analysis and comparison [J]. IEEE transactions on pattern analysis and machine intelligence,2005,2(1):148-154.
[5]吴厚航.勇敢的芯伴你玩转Altera FPGA[M].北京:清华大学出版社,2017.
[6]张星.基于内容的不良图像人体躯干检测技术研究[D].兰州:兰州大学,2009.
[7]杨振洁,贾皓强,赵富康.基于Matlab的人脸识别与分割[J].通讯世界,2017(12):289.
[8]肖柏清.基于FPGA的人脸检测系统的研究与设计[D].长沙:中南大学,2014.
[9]乐斌.一种基于OpenCV的人脸轮廓化方法[J].工业控制计算机,2014(10):107-108.
[10]袁晓鹏.基于Rentinex理论的图像增强研究[D].天津:中国民航大学,2015.
[11]张闯.单通道双谱微光彩色夜视技术研究[D].南京:南京理工大学,2008.
[12]吕晓明.基于DSP的视觉传感器的关键技术研究[D].天津:天津大学,2007.
[13]王玉冰.基于FPGA+DSP的图像融合系统设计[D].西安:中国科学院研究生院(西安光学精密机械研究所),2011.
[14]张晋,庄再姣,刘会刚,等.一种区域逐像素点肤色检测算法[J].南开大学学报(自然科学版),2016,49(4):38-42.